:orphan: .. _l-notebooks: Gallerie de notebooks ===================== :ref:`l-notebooks-coverage` .. contents:: :depth: 1 :local: .. raw:: html
Exposés un peu plus mathématique -------------------------------- .. toctree:: :maxdepth: 1 notebooks/skewdata_reduce .. raw:: html
.. only:: html .. figure:: /notebooks/skewdata_reduce.thumb.png :ref:`skewdatareducerst` .. raw:: html
.. raw:: html
Vieux notebooks sur PIG ----------------------- :epkg:`PIG` est le premier langage :epkg:`map/reduce` inventé chez :epkg:`Yahoo` tout comme :epkg:`Hadoop`. Ce n'est pas le plus élégant et pas le plus intuitif. S'il est apparemment possible de faire fonctioner `PIG sur Spark `_, le langage ne permet pas d'utiliser les dataframes qui sont plus rapides. La syntaxe n'est pas la plus facile lorsqu'il s'agit d'associer un langage fonctionnel et un langage impératif pour les fonctions qui tournent qui chaque noeud du cluster. Cette imbrication est mieux faite avec le langage :epkg:`U-SQL` qui associe :epkg:`SQL` et :epkg:`C#`. Ces notebooks n'ont pas été mis à jour depuis 2016. .. toctree:: :maxdepth: 1 notebooks/pig_reservoir_sampling_azure_correction notebooks/pig_azure_correction notebooks/pig_azure notebooks/pig_cloudera_correction notebooks/pig_cloudera notebooks/pig_streaming_azure_correction notebooks/pig_streaming_cloudera_correction notebooks/pig_streaming notebooks/pig_params_azure_correction notebooks/pig_params_cloudera_correction notebooks/pig_params_azure notebooks/pig_params_cloudera .. raw:: html
.. only:: html .. figure:: /notebooks/pig_reservoir_sampling_azure_correction.thumb.png :ref:`pigreservoirsamplingazurecorrectionrst` .. raw:: html
.. raw:: html
.. only:: html .. figure:: /notebooks/pig_azure_correction.thumb.png :ref:`pigazurecorrectionrst` .. raw:: html
.. raw:: html
.. only:: html .. figure:: /notebooks/pig_azure.thumb.png :ref:`pigazurerst` .. raw:: html
.. raw:: html
.. only:: html .. figure:: /notebooks/pig_cloudera_correction.thumb.png :ref:`pigclouderacorrectionrst` .. raw:: html
.. raw:: html
.. only:: html .. figure:: /notebooks/pig_cloudera.thumb.png :ref:`pigclouderarst` .. raw:: html
.. raw:: html
.. only:: html .. figure:: /notebooks/pig_streaming_azure_correction.thumb.png :ref:`pigstreamingazurecorrectionrst` .. raw:: html
.. raw:: html
.. only:: html .. figure:: /notebooks/pig_streaming_cloudera_correction.thumb.png :ref:`pigstreamingclouderacorrectionrst` .. raw:: html
.. raw:: html
.. only:: html .. figure:: /notebooks/pig_streaming.thumb.png :ref:`pigstreamingrst` .. raw:: html
.. raw:: html
.. only:: html .. figure:: /notebooks/pig_params_azure_correction.thumb.png :ref:`pigparamsazurecorrectionrst` .. raw:: html
.. raw:: html
.. only:: html .. figure:: /notebooks/pig_params_cloudera_correction.thumb.png :ref:`pigparamsclouderacorrectionrst` .. raw:: html
.. raw:: html
.. only:: html .. figure:: /notebooks/pig_params_azure.thumb.png :ref:`pigparamsazurerst` .. raw:: html
.. raw:: html
.. only:: html .. figure:: /notebooks/pig_params_cloudera.thumb.png :ref:`pigparamsclouderarst` .. raw:: html
.. raw:: html
Programmation fonctionnelle --------------------------- Ces notebooks s'intéresse à la :epkg:`programmation fonctionnelle` ou des problèmes résolus grâce à ce paradigme. .. toctree:: :maxdepth: 1 notebooks/skewed_dataset_correction notebooks/skewed_dataset notebooks/recursive_reducers notebooks/reservoir_sampling .. raw:: html
.. only:: html .. figure:: /notebooks/skewed_dataset_correction.thumb.png :ref:`skeweddatasetcorrectionrst` .. raw:: html
.. raw:: html
.. only:: html .. figure:: /notebooks/skewed_dataset.thumb.png :ref:`skeweddatasetrst` .. raw:: html
.. raw:: html
.. only:: html .. figure:: /notebooks/recursive_reducers.thumb.png :ref:`recursivereducersrst` .. raw:: html
.. raw:: html
.. only:: html .. figure:: /notebooks/reservoir_sampling.thumb.png :ref:`reservoirsamplingrst` .. raw:: html
.. raw:: html
3A - Travaux dirigés - Spark ---------------------------- Séances Map/Reduce avec `Spark `_. Elles ne requièrent pas de clusters. .. toctree:: :maxdepth: 1 notebooks/spark_matrix_3_columns notebooks/spark_first_steps notebooks/spark_mllib .. raw:: html
.. only:: html .. figure:: /notebooks/spark_matrix_3_columns.thumb.png :ref:`sparkmatrix3columnsrst` .. raw:: html
.. raw:: html
.. only:: html .. figure:: /notebooks/spark_first_steps.thumb.png :ref:`sparkfirststepsrst` .. raw:: html
.. raw:: html
.. only:: html .. figure:: /notebooks/spark_mllib.thumb.png :ref:`sparkmllibrst` .. raw:: html
.. raw:: html
Map Reduce avec SQL ------------------- Le langage :epkg:`SQL` ne permet pas de faire autant de choses que :epkg:`Spark` mais il est dans sa logique assez proche de :epkg:`map/reduce`. Ce constat a abouti au langage :epkg:`Hive` ou :epkg:`presto`. .. toctree:: :maxdepth: 1 notebooks/sql_map_reduce notebooks/map_reduce_timeseries .. raw:: html
.. only:: html .. figure:: /notebooks/sql_map_reduce.thumb.png :ref:`sqlmapreducerst` .. raw:: html
.. raw:: html
.. only:: html .. figure:: /notebooks/map_reduce_timeseries.thumb.png :ref:`mapreducetimeseriesrst` .. raw:: html
.. toctree:: :hidden: all_notebooks_coverage