Gallerie de notebooks

Notebooks Coverage

Vieux notebooks sur PIG

PIG est le premier langage map/reduce inventé chez Yahoo tout comme :epkg:`Hadoop`. Ce n’est pas le plus élégant et pas le plus intuitif. S’il est apparemment possible de faire fonctioner PIG sur Spark, le langage ne permet pas d’utiliser les dataframes qui sont plus rapides. La syntaxe n’est pas la plus facile lorsqu’il s’agit d’associer un langage fonctionnel et un langage impératif pour les fonctions qui tournent qui chaque noeud du cluster. Cette imbrication est mieux faite avec le langage U-SQL qui associe SQL et C#. Ces notebooks n’ont pas été mis à jour depuis 2016.

Map Reduce avec SQL

Le langage SQL ne permet pas de faire autant de choses que Spark mais il est dans sa logique assez proche de map/reduce. Ce constat a abouti au langage Hive ou presto.