Algèbre II

Algèbre bilinéaire et analyse en composante principale.

Analyse en composante principale et Alg II

12h, 6x2h par semaine

Illustration de l'analyse en composante principale (ACP) appliquée à des phrases représentées par des distributions gaussiennes avec des matrices de covariance diagonales. Deudon, M. [Learning semantic similarity in a continuous space](https://papers.nips.cc/paper_files/paper/2018/file/97e8527feaf77a97fc38f34216141515-Paper.pdf). Advances in neural information processing systems 31 (2018).
Illustration de l’analyse en composante principale (ACP) appliquée à des phrases représentées par des distributions gaussiennes avec des matrices de covariance diagonales. Deudon, M. Learning semantic similarity in a continuous space. Advances in neural information processing systems 31 (2018).

Cours

ACP et reduction de dimension (pdf).

1 Définitions et notations

2 L’ACP de 2D à 1D

3 L’ACP en 3D et plus

  • 3.1 Formulation du problème
  • 3.2 Décomposition de matrices
  • 3.3 Retour à l’ACP et approximation de rang inférieur

4 L’ACP en pratique

  • 4.1 Prétraitement des données
  • 4.2 Pseudo code
  • 4.3 Notion de similarité

5 Autres méthodes de factorisation matricielle

6 Préservation des distances

Conclusion

TP / Pratique

te62mi-algebre-bilineaire

  1. TP SVD.
  2. TP ACP.
  3. TP MDS.

TD / Exercices

À venir.

Références

  1. R. Bellman. The curse of dimensionality. Princeton. 1961.
  2. P. Comon. Independent component analysis, a new concept? Signal processing. 1994.
  3. P. Pentti et U. Tapper. Positive matrix factorization: A non-negative factor model with optimal utilization of error estimates of data values. Environmetrics. 1994.
  4. A. J. Bell et T. J. Sejnowski. An information-maximization approach to blind separation and blind deconvolution. Neural computation. 1995.
  5. A. Hyvärinen et O. Erkki. Independent component analysis: algorithms and applications. Neural networks. 2000.
  6. J. Mairal, F. Bach et al. Online learning for matrix factorization and sparse coding. Journal of Machine Learning Research. 2010.
  7. F. Pedregosa, G. Varoquaux et al. Scikit-learn: Machine learning in Python. Journal of Machine Learning Research. 2011.
  8. C.R. Harris, K.J. Millman et al. Array programming with NumPy. Nature. 2020.
Mathématiques Algèbre Algebre linéaire Réduction de dimension Analyse en composante principale Factorisation de matrices Décomposition en valeur singulière Licence Master
Suivant

Dernière mise à jour le 5 mai 2024