:orphan:

|rss_image|  **2018-04 - 1/1** :ref:`Blog <ap-main-0>` :ref:`references (4) <ap-cat-references-0>`

.. |rss_image| image:: feed-icon-16x16.png
    :target: ../_downloads/rss.xml
    :alt: RSS

----


.. index:: 2018-04


.. _ap-month-2018-04-0:

2018-04 - 1/1
+++++++++++++

.. blogpostagg::
    :title: Références sur scala
    :date: 2018-04-16
    :keywords: scala
    :categories: références
    :rawfile: 2018/2018-04-16_scala.rst

    Anglais
    
    * `Scala Documentation <https://docs.scala-lang.org/tutorials/tour/pattern-matching.html.html>`_
    
    Français
    
    * `Apprenez la programmation avec Scala <https://openclassrooms.com/courses/apprenez-la-programmation-avec-scala/classes-et-variables>`_
    * `Travaux pratiques - Introduction à Spark et Scala <http://cedric.cnam.fr/vertigo/Cours/RCP216/tpSparkScala.html>`_




.. blogpostagg::
    :title: Streaming et pipelines
    :date: 2018-04-10
    :keywords: streaming,pipelines
    :categories: références
    :rawfile: 2018/2018-04-10_awesome.rst

    Deux pages qui recensent de nombreuses libraires
    qui permettent de créer des pipelines et plus
    généralement de traiter les données en parallèles :
    

    ...




.. blogpostagg::
    :title: Sujets abordés en introduction à Spark
    :date: 2018-04-09
    :keywords: spark,programmation fonctionnelle
    :categories: références
    :rawfile: 2018/2018-04-09_session1.rst

    *Partie 1 : programmation fonctionnelle*
    
    * notion de
      :func:`map <sparkouille.fctmr.simplefctmr.mapper>`,
      :func:`filter <sparkouille.fctmr.simplefctmr.ffilter>`,
      :func:`reduce <sparkouille.fctmr.simplefctmr.mapper>` (group by),
      :func:`combine <sparkouille.fctmr.simplefctmr.combiner>` (ou join)
    * exemple détailler avec un mapper, suivi d'un reducer, suivi d'un mapper
    * pourquoi trier localement pour un reducer
    * coûts associés (calcul + mémoire) pour les quatre
      primitives pour une exécution locale dans deux cas :
      parcourir la liste complète, obtenir le premier élément
    * pourquoi la programmation fonctionnelle est adaptée
      à la distribution des calculs
    * stratégie de distribution
    * coûts associés (calcul + mémoire) pour les quatre
      primitives pour une exécution locale dans deux cas :
      parcourir la liste complète, obtenir le premier élément
    * notion de reducer récursif : cas de la somme et de la moyenne
    * introduction des termes : lazy evaluation, index
    * notebook :ref:`recursivereducersrst`
    
    *Partie 2 : exemples et Spark*
    
    * Enlever les doublons dans une base de données
      (code postal, nom, téléphone), sont considérés comme doublons
      deux entités qui ont au moins deux champs en commun (sur trois)
    * lien vers installation en local : :ref:`l-install-spark`
    * exécution de :ref:`sparkfirststepsrst`
    
    Enfin, quelques lignes sur :
    

    ...




.. blogpostagg::
    :title: First step
    :date: 2018-04-09
    :keywords: spark,pyspark
    :categories: modules
    :rawfile: 2018/2018-04-09_firststep.rst

    First content from
    `ensae_teaching_cs <http://www.xavierdupre.fr/app/ensae_teaching_cs/helpsphinx/index.html>`_.





----

|rss_image|  **2018-04 - 1/1** :ref:`2018-04 (4) <ap-month-2018-04-0>` :ref:`2018-12 (1) <ap-month-2018-12-0>`