Réseaux de neurones

Ce chapitre aborde les réseaux de neurones au travers de deux utilisations courantes, la régression et la classification et une qui l’est moins, l”analyse en composantes principales ou ACP sans oublier les méthodes d’estimation des paramètres qui les composent, à savoir optimisations du premier et second ordre (Méthodes du premier ordre et Méthodes du second ordre) ainsi qu’une méthode permettant de supprimer des coefficients inutiles Sélection de connexions.

• Définition des réseaux de neurones multi-couches
  • Un neurone
  • Une couche de neurones
  • Un réseau de neurones : le perceptron
• La régression
• La classification
• Démonstration du théorème de la densité des réseaux de neurones
  • Formulation du problème de la régression
  • Densité des réseaux de neurones
• Descente de gradient
  • Algorithme et convergence
  • Calcul du gradient ou rétropropagation
• Apprentissage d’un réseau de neurones
  • Apprentissage avec gradient global
  • Apprentissage avec gradient stochastique
• Classification
  • Vraisemblance d’un échantillon de variable suivant une loi multinomiale
  • Problème de classification pour les réseaux de neurones
  • Réseau de neurones adéquat
• Prolongements
  • Base d’apprentissage et base de test
  • Fonction de transfert à base radiale
  • Poids partagés
  • Dérivée par rapport aux entrées
  • Régularisation ou Decay
  • Problèmes de gradients
  • Sélection de connexions
• Analyse en composantes principales (ACP) et Auto Encoders
  • Problème de l’analyse en composantes principales
  • Résolution d’une ACP avec un réseau de neurones diabolo
  • Calcul de valeurs propres et de vecteurs propres
  • Analyse en Composantes Principales (ACP)
• Bibliographie