.. _winesknnsplitrst:

===============================
Base d’apprentissage et de test
===============================


.. only:: html

    **Links:** :download:`notebook <wines_knn_split.ipynb>`, :downloadlink:`html <wines_knn_split2html.html>`, :download:`PDF <wines_knn_split.pdf>`, :download:`python <wines_knn_split.py>`, :downloadlink:`slides <wines_knn_split.slides.html>`, :githublink:`GitHub|_doc/notebooks/lectures/wines_knn_split.ipynb|*`


Le modèle est estimé sur une base d’apprentissage et évalué sur une base
de test.

.. code:: ipython3

    %matplotlib inline

.. code:: ipython3

    from papierstat.datasets import load_wines_dataset
    df = load_wines_dataset()
    X = df.drop(['quality', 'color'], axis=1)
    y = df['quality']

On divise en base d’apprentissage et de test avec la fonction
`train_test_split <http://scikit-learn.org/stable/modules/generated/sklearn.model_selection.train_test_split.html>`__.

.. code:: ipython3

    from sklearn.model_selection import train_test_split
    X_train, X_test, y_train, y_test = train_test_split(X, y)

.. code:: ipython3

    from sklearn.neighbors import KNeighborsRegressor
    knn = KNeighborsRegressor(n_neighbors=1)
    knn.fit(X_train, y_train)




.. parsed-literal::
    KNeighborsRegressor(algorithm='auto', leaf_size=30, metric='minkowski',
              metric_params=None, n_jobs=1, n_neighbors=1, p=2,
              weights='uniform')



.. code:: ipython3

    prediction = knn.predict(X_test)

.. code:: ipython3

    import pandas
    res = pandas.DataFrame(dict(expected=y_test, prediction=prediction))
    res.head()






.. raw:: html

    <div>
    <style scoped>
        .dataframe tbody tr th:only-of-type {
            vertical-align: middle;
        }

        .dataframe tbody tr th {
            vertical-align: top;
        }

        .dataframe thead th {
            text-align: right;
        }
    </style>
    <table border="1" class="dataframe">
      <thead>
        <tr style="text-align: right;">
          <th></th>
          <th>expected</th>
          <th>prediction</th>
        </tr>
      </thead>
      <tbody>
        <tr>
          <th>2647</th>
          <td>5</td>
          <td>5.0</td>
        </tr>
        <tr>
          <th>920</th>
          <td>5</td>
          <td>5.0</td>
        </tr>
        <tr>
          <th>4360</th>
          <td>5</td>
          <td>6.0</td>
        </tr>
        <tr>
          <th>6435</th>
          <td>5</td>
          <td>5.0</td>
        </tr>
        <tr>
          <th>5436</th>
          <td>6</td>
          <td>6.0</td>
        </tr>
      </tbody>
    </table>
    </div>



.. code:: ipython3

    from seaborn import jointplot
    ax = jointplot("expected", "prediction", res, kind="kde", size=4)
    ax.ax_marg_y.set_title('Distribution valeurs attendues\nvaleurs prédites');



.. image:: wines_knn_split_8_0.png


Le résultat paraît acceptable. On enlève les réponses correctes.

.. code:: ipython3

    ax = jointplot("expected", "prediction", res[res['expected'] != res['prediction']], kind="kde", size=4)
    ax.ax_marg_x.set_title('Distribution valeurs attendues\nvaleurs prédites\n' +
                           'sans les réponses correctes');



.. image:: wines_knn_split_10_0.png


.. code:: ipython3

    res['diff'] = res['prediction'] - res["expected"]

.. code:: ipython3

    ax = res['diff'].hist(bins=15, figsize=(3,3))
    ax.set_title("Répartition des différences");



.. image:: wines_knn_split_12_0.png


Si on fait la moyenne des erreurs en valeur absolue :

.. code:: ipython3

    import numpy
    numpy.abs(res['diff']).mean()




.. parsed-literal::
    0.5661538461538461



Le modèle se trompe en moyenne d’un demi point. Le module *scikit-learn*
propose de nombreuses
`métriques <http://scikit-learn.org/stable/modules/classes.html#sklearn-metrics-metrics>`__
pour évaluer les résultats. On s’intéresse plus particulièrement à celle
de la
`régression <http://scikit-learn.org/stable/modules/classes.html#regression-metrics>`__.
Celle qu’on a utilisée s’appelle
`mean_absolute_error <http://scikit-learn.org/stable/modules/generated/sklearn.metrics.mean_absolute_error.html#sklearn.metrics.mean_absolute_error>`__.

.. code:: ipython3

    from sklearn.metrics import mean_absolute_error
    mean_absolute_error(y_test, prediction)




.. parsed-literal::
    0.5661538461538461



Un autre indicateur très utilisé :
`R2 <http://scikit-learn.org/stable/modules/generated/sklearn.metrics.r2_score.html#sklearn.metrics.r2_score>`__.

.. code:: ipython3

    from sklearn.metrics import r2_score
    r2_score(y_test, prediction)




.. parsed-literal::
    -0.05471047787566907



Une valeur négative implique que le modèle fait moins bien que si la
prédiction était constante et égale à la moyenne des notes sur la base
de test. Essayons.

.. code:: ipython3

    const = numpy.mean(y_test) * numpy.ones(y_test.shape[0])
    r2_score(y_test, const)




.. parsed-literal::
    0.0



Pour être rigoureux, il faudrait prendre la moyenne des notes sur la
base d’apprentissage, celles des vins connus.

.. code:: ipython3

    const = numpy.mean(y_train) * numpy.ones(y_test.shape[0])
    r2_score(y_test, const)




.. parsed-literal::
    -0.0027584386563039853



Sensiblement pareil et on sait maintenant que le modèle n’est pas bon.
On cherche une explication. Une raison possible est que les bases
d’apprentissage et de test ne sont pas homogènes : le modèle apprend sur
des données et est testé sur d’autres qui n’ont rien à voir. On commence
par regarder la distribution des notes.

.. code:: ipython3

    ys = pandas.DataFrame(dict(y=y_train))
    ys['base'] = 'train'
    ys2 = pandas.DataFrame(dict(y=y_test))
    ys2['base'] = 'test'
    ys = pandas.concat([ys, ys2])
    ys['compte'] = 1
    piv = ys.groupby(['base', 'y'], as_index=False).count().pivot('y', 'base', 'compte')
    piv['ratio'] = piv['test'] / piv['train']
    piv






.. raw:: html

    <div>
    <style scoped>
        .dataframe tbody tr th:only-of-type {
            vertical-align: middle;
        }

        .dataframe tbody tr th {
            vertical-align: top;
        }

        .dataframe thead th {
            text-align: right;
        }
    </style>
    <table border="1" class="dataframe">
      <thead>
        <tr style="text-align: right;">
          <th>base</th>
          <th>test</th>
          <th>train</th>
          <th>ratio</th>
        </tr>
        <tr>
          <th>y</th>
          <th></th>
          <th></th>
          <th></th>
        </tr>
      </thead>
      <tbody>
        <tr>
          <th>3</th>
          <td>6</td>
          <td>24</td>
          <td>0.250000</td>
        </tr>
        <tr>
          <th>4</th>
          <td>57</td>
          <td>159</td>
          <td>0.358491</td>
        </tr>
        <tr>
          <th>5</th>
          <td>511</td>
          <td>1627</td>
          <td>0.314075</td>
        </tr>
        <tr>
          <th>6</th>
          <td>710</td>
          <td>2126</td>
          <td>0.333960</td>
        </tr>
        <tr>
          <th>7</th>
          <td>279</td>
          <td>800</td>
          <td>0.348750</td>
        </tr>
        <tr>
          <th>8</th>
          <td>60</td>
          <td>133</td>
          <td>0.451128</td>
        </tr>
        <tr>
          <th>9</th>
          <td>2</td>
          <td>3</td>
          <td>0.666667</td>
        </tr>
      </tbody>
    </table>
    </div>



On voit le ratio entre les deux classes est à peu près égal à 1/3 sauf
pour les notes sous-représentées. On voit également que les classes
5,6,7 sont sur-représentées. Autrement dit, si je choisis un vin au
hasard, il y a 90% de chance que sa note soit 5, 6 ou 7.