.. _pandasgroupbyrst:

=================
Pandas et groupby
=================


.. only:: html

    **Links:** :download:`notebook <pandas_groupby.ipynb>`, :downloadlink:`html <pandas_groupby2html.html>`, :download:`PDF <pandas_groupby.pdf>`, :download:`python <pandas_groupby.py>`, :downloadlink:`slides <pandas_groupby.slides.html>`, :githublink:`GitHub|_doc/notebooks/pandas/pandas_groupby.ipynb|*`


Petit tour de passe passe autour d’un
`groupby <https://pandas.pydata.org/pandas-docs/stable/generated/pandas.DataFrame.groupby.html>`__
et des valeurs manquantes qui ne sont plus prises en compte depuis les
dernières versions.

.. code:: ipython3

    from jyquickhelper import add_notebook_menu
    add_notebook_menu()






.. contents::
    :local:





groupby et valeur manquantes
----------------------------

.. code:: ipython3

    import pandas
    data = [{"a":1, "b":2}, {"a":10, "b":20}, {"b":3}, {"b":4}]
    df = pandas.DataFrame(data)
    df






.. raw:: html

    <div>
    <style scoped>
        .dataframe tbody tr th:only-of-type {
            vertical-align: middle;
        }

        .dataframe tbody tr th {
            vertical-align: top;
        }

        .dataframe thead th {
            text-align: right;
        }
    </style>
    <table border="1" class="dataframe">
      <thead>
        <tr style="text-align: right;">
          <th></th>
          <th>a</th>
          <th>b</th>
        </tr>
      </thead>
      <tbody>
        <tr>
          <th>0</th>
          <td>1.0</td>
          <td>2</td>
        </tr>
        <tr>
          <th>1</th>
          <td>10.0</td>
          <td>20</td>
        </tr>
        <tr>
          <th>2</th>
          <td>NaN</td>
          <td>3</td>
        </tr>
        <tr>
          <th>3</th>
          <td>NaN</td>
          <td>4</td>
        </tr>
      </tbody>
    </table>
    </div>



.. code:: ipython3

    df.groupby("a").sum()






.. raw:: html

    <div>
    <style scoped>
        .dataframe tbody tr th:only-of-type {
            vertical-align: middle;
        }

        .dataframe tbody tr th {
            vertical-align: top;
        }

        .dataframe thead th {
            text-align: right;
        }
    </style>
    <table border="1" class="dataframe">
      <thead>
        <tr style="text-align: right;">
          <th></th>
          <th>b</th>
        </tr>
        <tr>
          <th>a</th>
          <th></th>
        </tr>
      </thead>
      <tbody>
        <tr>
          <th>1.0</th>
          <td>2</td>
        </tr>
        <tr>
          <th>10.0</th>
          <td>20</td>
        </tr>
      </tbody>
    </table>
    </div>



Les valeurs manquantes ont disparu et c’est le comportement attendu
d’après `groupby and missing
values <http://pandas-docs.github.io/pandas-docs-travis/groupby.html#na-and-nat-group-handling>`__.
Il est possible de ocrriger le tir avec la fonction implémenté dans ce
module.

.. code:: ipython3

    from pandas_streaming.df import pandas_groupby_nan
    pandas_groupby_nan(df, "a").sum()






.. raw:: html

    <div>
    <style scoped>
        .dataframe tbody tr th:only-of-type {
            vertical-align: middle;
        }

        .dataframe tbody tr th {
            vertical-align: top;
        }

        .dataframe thead th {
            text-align: right;
        }
    </style>
    <table border="1" class="dataframe">
      <thead>
        <tr style="text-align: right;">
          <th></th>
          <th>a</th>
          <th>b</th>
        </tr>
      </thead>
      <tbody>
        <tr>
          <th>0</th>
          <td>1.0</td>
          <td>2</td>
        </tr>
        <tr>
          <th>1</th>
          <td>10.0</td>
          <td>20</td>
        </tr>
        <tr>
          <th>2</th>
          <td>NaN</td>
          <td>7</td>
        </tr>
      </tbody>
    </table>
    </div>



L’astuce consiste à remplacer les valeurs manquantes par d’autres non
utilisées dans le dataframe, à grouper, puis à leur redonner leur
valeurs initiales. Le code de la fonction n’est pas très propre car il
modifie des variables que l’utilisateur n’est pas censé modifier. Il est
possible que la fonction “casse” pour des versions ultérieures. Le
`code <https://github.com/sdpython/pandas_streaming/blob/master/src/pandas_streaming/df/dataframe_helpers.py#L301>`__
utilise quelques variables non documentation du module
`pandas <https://pandas.pydata.org/>`__.