Gallerie de notebooks#
Exposés un peu plus mathématique#
Vieux notebooks sur PIG#
PIG est le premier langage map/reduce inventé chez Yahoo tout comme Hadoop. Ce n’est pas le plus élégant et pas le plus intuitif. S’il est apparemment possible de faire fonctioner PIG sur Spark, le langage ne permet pas d’utiliser les dataframes qui sont plus rapides. La syntaxe n’est pas la plus facile lorsqu’il s’agit d’associer un langage fonctionnel et un langage impératif pour les fonctions qui tournent qui chaque noeud du cluster. Cette imbrication est mieux faite avec le langage U-SQL qui associe SQL et C#. Ces notebooks n’ont pas été mis à jour depuis 2016.
- 3A.mr - Reservoir Sampling distribué - énoncé - correction
- Map/Reduce avec PIG sur Azure - correction
- Map/Reduce avec PIG sur Azure - énoncé
- Map/Reduce avec PIG sur cloudera - correction
- Map/Reduce avec PIG sur cloudera - énoncé
- PIG et JSON et streaming avec les données vélib - correction avec Azure
- PIG et JSON et streaming avec les données vélib - correction avec cloudera
- PIG et JSON et streaming avec les données vélib - énoncé
- PIG et Paramètres (Azure) (correction)
- PIG et Paramètres (Cloudera) (correction)
- PIG et Paramètres sur Azure - énoncé
- PIG et Paramètres sur Cloudera - énoncé
Programmation fonctionnelle#
Ces notebooks s’intéresse à la programmation fonctionnelle ou des problèmes résolus grâce à ce paradigme.
3A - Travaux dirigés - Spark#
Séances Map/Reduce avec Spark. Elles ne requièrent pas de clusters.
Map Reduce avec SQL#
Le langage SQL ne permet pas de faire autant de choses que Spark mais il est dans sa logique assez proche de map/reduce. Ce constat a abouti au langage Hive ou presto.
