2017-11-13 Cours de deep learning appliqués au NLP#
Stanford University School of Engineering met en ligne beaucoup de cours dont les suivants Natural Language Processing with Deep Learning. C’est l’état de l’art cette année.
Lecture 9: Machine Translation and Advanced Recurrent LSTMs and GRUs
Lecture 10: Neural Machine Translation and Models with Attention
Lecture 14: Tree Recursive Neural Networks and Constituency Parsing
Lecture 17: Issues in NLP and Possible Architectures for NLP
Une série d’articles sur le deep learning :
A propos des Generative Adversarial Networks :
Un résultat d’expérience qui est amené à prendre plus d’importance. Une couche d’un réseau de neurones profond est consistitué de plusieurs ensembles de neurones non connecté (des filtres). Ces filtres reçoivent tous les mêmes entrées. L’article proposent une façon de spécialiser chaque filtre plus rapidement en routant (en pondérant) les exemples entre chauqe couche.
Enfin :