GPU

Le calcul GPU est étroitement associé à la réussite du deep learning qui lui doit des gains en performance significatifs. Le même algorithme est dix fois plus rapide, voire plus, qu’une version équivalente CPU. La plupart des framework de deep learning propose une partie de calcul matriciel implémenté en GPU via une abstraction appelée tensor dans la plupart des librairies.

Librairies de calcul GPU

Les librairies suivantes ont été développées pour le deep learning puis ont proposé une extension au calcul matriciel afin de pouvoir calculer facilement des gradients sur des architectures de réseaux de neurones personnalisées.

Ces frameworks sont optimisés pour l’apprentissage de réseaux de neurones et pas nécessairement pour leur utilisation. C’est pourquoi d’autres librairies ont émergés plus axées sur le calcul rapides d’une prédiction. C’est le cas d”onnxruntime qui s’intéresse à la mise en production de modèle de machine learning y compris deep learning. Cette librairie n’est plus liée au langage python et le langage principale est le C/C++. C’est d’ailleurs le cas des librairies qui vont suivre dont l’objectif est de faciliter l’écriture de calcul GPU :

halide s’intéresse à la simplification de l’écriture, comment écrire un code toujours plus concis sans perdre en performance tout en prenant en compte la particularité du calcul GPU qui est la parallélisation.