.. _pandasiteratorrst:

==============================
2A.data - Pandas et itérateurs
==============================


.. only:: html

    **Links:** :download:`notebook <pandas_iterator.ipynb>`, :downloadlink:`html <pandas_iterator2html.html>`, :download:`python <pandas_iterator.py>`, :downloadlink:`slides <pandas_iterator.slides.html>`, :githublink:`GitHub|_doc/notebooks/td2a/pandas_iterator.ipynb|*`


`pandas <http://pandas.pydata.org/>`__ a tendance a prendre beaucoup
d’espace mémoire pour charger les données, environ trois fois plus que
sa taille sur disque. Quand la mémoire n’est pas assez grande, que
peut-on faire ?

.. code:: ipython3

    from jyquickhelper import add_notebook_menu
    add_notebook_menu()






.. contents::
    :local:





.. code:: ipython3

    from sklearn.datasets import load_iris
    data = load_iris()

.. code:: ipython3

    import pandas
    df = pandas.DataFrame(data.data)
    df.column = "X1 X2 X3 X4".split()
    df["target"] = data.target
    df.head()






.. raw:: html

    <div>
    <style>
        .dataframe thead tr:only-child th {
            text-align: right;
        }

        .dataframe thead th {
            text-align: left;
        }

        .dataframe tbody tr th {
            vertical-align: top;
        }
    </style>
    <table border="1" class="dataframe">
      <thead>
        <tr style="text-align: right;">
          <th></th>
          <th>0</th>
          <th>1</th>
          <th>2</th>
          <th>3</th>
          <th>target</th>
        </tr>
      </thead>
      <tbody>
        <tr>
          <th>0</th>
          <td>5.1</td>
          <td>3.5</td>
          <td>1.4</td>
          <td>0.2</td>
          <td>0</td>
        </tr>
        <tr>
          <th>1</th>
          <td>4.9</td>
          <td>3.0</td>
          <td>1.4</td>
          <td>0.2</td>
          <td>0</td>
        </tr>
        <tr>
          <th>2</th>
          <td>4.7</td>
          <td>3.2</td>
          <td>1.3</td>
          <td>0.2</td>
          <td>0</td>
        </tr>
        <tr>
          <th>3</th>
          <td>4.6</td>
          <td>3.1</td>
          <td>1.5</td>
          <td>0.2</td>
          <td>0</td>
        </tr>
        <tr>
          <th>4</th>
          <td>5.0</td>
          <td>3.6</td>
          <td>1.4</td>
          <td>0.2</td>
          <td>0</td>
        </tr>
      </tbody>
    </table>
    </div>



.. code:: ipython3

    df.to_csv("iris.txt", sep="\t", index=False)

Exercice 1 : itérer sur un grand fichier
----------------------------------------

A quoi sert le paramètre *iterator* de la fonction
`read_csv <https://pandas.pydata.org/pandas-docs/stable/generated/pandas.read_csv.html>`__
? Comment s’en servir pour lire un grand fichier ?


Exercice 2 : split train test
-----------------------------

Utiliser les fonctions
`read_csv <https://pandas.pydata.org/pandas-docs/stable/generated/pandas.read_csv.html>`__
et
`train_test_split <http://scikit-learn.org/stable/modules/generated/sklearn.model_selection.train_test_split.html>`__
pour répartir un gros jeu de données en deux jeux train, test.


Exercice 3 : stratify ?
-----------------------

Que dire à propos de la fonction précédente du paramètre *stratify* de
la fonction
`train_test_split <http://scikit-learn.org/stable/modules/generated/sklearn.model_selection.train_test_split.html>`__
?


Exercice 4 : quelques idées pour un group by ?
----------------------------------------------

Toujours sur un gros fichier…