.. _seance5approchefonctionnellecorrectionrst:

==============================================
Données, approches fonctionnelles - correction
==============================================


.. only:: html

    **Links:** :download:`notebook <seance5_approche_fonctionnelle_correction.ipynb>`, :downloadlink:`html <seance5_approche_fonctionnelle_correction2html.html>`, :download:`PDF <seance5_approche_fonctionnelle_correction.pdf>`, :download:`python <seance5_approche_fonctionnelle_correction.py>`, :downloadlink:`slides <seance5_approche_fonctionnelle_correction.slides.html>`, :githublink:`GitHub|_doc/notebooks/sessions/seance5_approche_fonctionnelle_correction.ipynb|*`


Correction de l’approche fonctionnelle. Elle s’appuie principalement sur
des itérateurs et le module
`cytoolz <https://pypi.python.org/pypi/cytoolz>`__.

.. code:: ipython3

    %matplotlib inline
    import matplotlib.pyplot as plt
    plt.style.use('ggplot')
    import pyensae
    from jyquickhelper import add_notebook_menu
    add_notebook_menu()


.. parsed-literal::
    Populating the interactive namespace from numpy and matplotlib






.. contents::
    :local:





Le notebook utilisera des données issues d’une table de mortalité
extraite de `table de mortalité de 1960 à
2010 <http://www.data-publica.com/opendata/7098--population-et-conditions-sociales-table-de-mortalite-de-1960-a-2010>`__
qu’on récupère à l’aide de la fonction
`table_mortalite_euro_stat <http://www.xavierdupre.fr/app/actuariat_python/helpsphinx/actuariat_python/data/population.html#actuariat_python.data.population.table_mortalite_euro_stat>`__.

Exercice 1 : application aux grandes bases de données
-----------------------------------------------------

Imaginons qu’on a une base de données de 10 milliards de lignes. On doit
lui appliquer deux traitements : ``f1``, ``f2``. On a deux options
possibles :


-  Appliquer la fonction ``f1`` sur tous les éléments, puis appliquer
   ``f2`` sur tous les éléments transformés par ``f1``.
-  Application la combinaison des générateurs ``f1``, ``f2`` sur chaque
   ligne de la base de données.

Que se passe-t-il si on a fait une erreur d’implémentation dans la
fonction ``f2`` ?


Exercice 2 : cytoolz
--------------------

La note d’un candidat à un concours de patinage artistique fait la
moyenne de trois moyennes parmi cinq, les deux extrêmes n’étant pas
prises en compte. Il faut calculer cette somme pour un ensemble de
candidats avec `cytoolz <https://pypi.python.org/pypi/cytoolz>`__.

.. code:: ipython3

    notes = [dict(nom="A", juge=1, note=8),
            dict(nom="A", juge=2, note=9),
            dict(nom="A", juge=3, note=7),
            dict(nom="A", juge=4, note=4),
            dict(nom="A", juge=5, note=5),
            dict(nom="B", juge=1, note=7),
            dict(nom="B", juge=2, note=4),
            dict(nom="B", juge=3, note=7),
            dict(nom="B", juge=4, note=9),
            dict(nom="B", juge=1, note=10),
            dict(nom="C", juge=2, note=0),
            dict(nom="C", juge=3, note=10),
            dict(nom="C", juge=4, note=8),
            dict(nom="C", juge=5, note=8),        
            dict(nom="C", juge=5, note=8),        
            ]
    
    import pandas
    pandas.DataFrame(notes)






.. raw:: html

    <div>
    <table border="1" class="dataframe">
      <thead>
        <tr style="text-align: right;">
          <th></th>
          <th>juge</th>
          <th>nom</th>
          <th>note</th>
        </tr>
      </thead>
      <tbody>
        <tr>
          <th>0</th>
          <td>1</td>
          <td>A</td>
          <td>8</td>
        </tr>
        <tr>
          <th>1</th>
          <td>2</td>
          <td>A</td>
          <td>9</td>
        </tr>
        <tr>
          <th>2</th>
          <td>3</td>
          <td>A</td>
          <td>7</td>
        </tr>
        <tr>
          <th>3</th>
          <td>4</td>
          <td>A</td>
          <td>4</td>
        </tr>
        <tr>
          <th>4</th>
          <td>5</td>
          <td>A</td>
          <td>5</td>
        </tr>
        <tr>
          <th>5</th>
          <td>1</td>
          <td>B</td>
          <td>7</td>
        </tr>
        <tr>
          <th>6</th>
          <td>2</td>
          <td>B</td>
          <td>4</td>
        </tr>
        <tr>
          <th>7</th>
          <td>3</td>
          <td>B</td>
          <td>7</td>
        </tr>
        <tr>
          <th>8</th>
          <td>4</td>
          <td>B</td>
          <td>9</td>
        </tr>
        <tr>
          <th>9</th>
          <td>1</td>
          <td>B</td>
          <td>10</td>
        </tr>
        <tr>
          <th>10</th>
          <td>2</td>
          <td>C</td>
          <td>0</td>
        </tr>
        <tr>
          <th>11</th>
          <td>3</td>
          <td>C</td>
          <td>10</td>
        </tr>
        <tr>
          <th>12</th>
          <td>4</td>
          <td>C</td>
          <td>8</td>
        </tr>
        <tr>
          <th>13</th>
          <td>5</td>
          <td>C</td>
          <td>8</td>
        </tr>
        <tr>
          <th>14</th>
          <td>5</td>
          <td>C</td>
          <td>8</td>
        </tr>
      </tbody>
    </table>
    </div>



.. code:: ipython3

    import cytoolz.itertoolz as itz
    import cytoolz.dicttoolz as dtz
    from functools import reduce
    from operator import add

.. code:: ipython3

    gr = itz.groupby(lambda d: d["nom"], notes)
    
    def select_note(key_value):
        key, value = key_value
        return key, map(lambda d: d["note"], value)
    
    gr_notes = dtz.itemmap(select_note,  gr)
    
    def enleve_extreme(key_value):
        key, value = key_value
        return key, itz.take(3, itz.drop(1,sorted(value)))
    
    def moyenne(key_value):
        key, value = key_value
        return key, reduce(add, value)/3
    
    no_ext = dtz.itemmap( enleve_extreme, gr_notes)
    
    moy = dtz.itemmap( moyenne, no_ext)
    moy




.. parsed-literal::
    {'A': 6.666666666666667, 'B': 7.666666666666667, 'C': 8.0}