.. _populationrecuperationdonneesrst:

========================
Récupération des données
========================


.. only:: html

    **Links:** :download:`notebook <population_recuperation_donnees.ipynb>`, :downloadlink:`html <population_recuperation_donnees2html.html>`, :download:`PDF <population_recuperation_donnees.pdf>`, :download:`python <population_recuperation_donnees.py>`, :downloadlink:`slides <population_recuperation_donnees.slides.html>`, :githublink:`GitHub|_doc/notebooks/sessions/population_recuperation_donnees.ipynb|*`


Ce notebook donne quelques exemples de codes qui permettent de récupérer
les données utilisées par d’autres notebooks. Le module
`actuariat_python <http://www.xavierdupre.fr/app/actuariat_python/helpsphinx/index.html>`__
est implémenté avec Python 3. Pour les utilisateurs de Python 2.7, il
suffira de recopier le code chaque fonction dans le notebook (suivre les
liens insérés dans le notebook).

.. code:: 

    %matplotlib inline
    import matplotlib.pyplot as plt
    plt.style.use('ggplot')
    # le code qui suit n'est pas indispensable, il génère automatiquement un menu
    # dans le notebook
    from jyquickhelper import add_notebook_menu
    add_notebook_menu()


.. parsed-literal::
    Populating the interactive namespace from numpy and matplotlib






.. contents::
    :local:





Population française janvier 2017
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

Les données sont disponibles sur le site de l’INSEE `Pyramide des âges
au 1er
janvier <https://www.insee.fr/fr/statistiques/1892086?sommaire=1912926>`__.
Elles sont disponibles au format Excel. Le format n’est pas le plus
simple et il a le don d’être parfois illisible avec pandas. Le plus
simple est de le convertir au format texte avec Excel.

.. code:: 

    url = "https://www.insee.fr/fr/statistiques/fichier/1892086/pop-totale-france.xls"
    url = "pop-totale-france.txt"
    import pandas
    df=pandas.read_csv(url, sep="\t", encoding="latin-1")
    df.head(n=5)






.. raw:: html

    <div>
    <table border="1" class="dataframe">
      <thead>
        <tr style="text-align: right;">
          <th></th>
          <th>Population totale par sexe et âge au 1er janvier 2017, France</th>
          <th>Unnamed: 1</th>
          <th>Unnamed: 2</th>
          <th>Unnamed: 3</th>
          <th>Unnamed: 4</th>
        </tr>
      </thead>
      <tbody>
        <tr>
          <th>0</th>
          <td>Mis à jour : janvier 2017</td>
          <td>NaN</td>
          <td>NaN</td>
          <td>NaN</td>
          <td>NaN</td>
        </tr>
        <tr>
          <th>1</th>
          <td>NaN</td>
          <td>NaN</td>
          <td>NaN</td>
          <td>NaN</td>
          <td>NaN</td>
        </tr>
        <tr>
          <th>2</th>
          <td>Année de naissance</td>
          <td>Âge révolu</td>
          <td>Nombre d'hommes</td>
          <td>Nombre de femmes</td>
          <td>Ensemble</td>
        </tr>
        <tr>
          <th>3</th>
          <td>2016</td>
          <td>0</td>
          <td>382 585</td>
          <td>364 392</td>
          <td>746 977</td>
        </tr>
        <tr>
          <th>4</th>
          <td>2015</td>
          <td>1</td>
          <td>390 810</td>
          <td>373 164</td>
          <td>763 974</td>
        </tr>
      </tbody>
    </table>
    </div>



.. code:: 

    df=pandas.read_csv(url, sep="\t", encoding="latin-1", skiprows=3)
    df.head(n=5)






.. raw:: html

    <div>
    <table border="1" class="dataframe">
      <thead>
        <tr style="text-align: right;">
          <th></th>
          <th>Année de naissance</th>
          <th>Âge révolu</th>
          <th>Nombre d'hommes</th>
          <th>Nombre de femmes</th>
          <th>Ensemble</th>
        </tr>
      </thead>
      <tbody>
        <tr>
          <th>0</th>
          <td>2016</td>
          <td>0</td>
          <td>382 585</td>
          <td>364 392</td>
          <td>746 977</td>
        </tr>
        <tr>
          <th>1</th>
          <td>2015</td>
          <td>1</td>
          <td>390 810</td>
          <td>373 164</td>
          <td>763 974</td>
        </tr>
        <tr>
          <th>2</th>
          <td>2014</td>
          <td>2</td>
          <td>402 728</td>
          <td>386 467</td>
          <td>789 195</td>
        </tr>
        <tr>
          <th>3</th>
          <td>2013</td>
          <td>3</td>
          <td>405 636</td>
          <td>387 097</td>
          <td>792 733</td>
        </tr>
        <tr>
          <th>4</th>
          <td>2012</td>
          <td>4</td>
          <td>416 074</td>
          <td>396 365</td>
          <td>812 439</td>
        </tr>
      </tbody>
    </table>
    </div>



.. code:: 

    df.tail(n=5)






.. raw:: html

    <div>
    <table border="1" class="dataframe">
      <thead>
        <tr style="text-align: right;">
          <th></th>
          <th>Année de naissance</th>
          <th>Âge révolu</th>
          <th>Nombre d'hommes</th>
          <th>Nombre de femmes</th>
          <th>Ensemble</th>
        </tr>
      </thead>
      <tbody>
        <tr>
          <th>100</th>
          <td>1916 ou avant</td>
          <td>100 ou plus</td>
          <td>3 015</td>
          <td>15 617</td>
          <td>18 632</td>
        </tr>
        <tr>
          <th>101</th>
          <td>NaN</td>
          <td>Total</td>
          <td>32 455 859</td>
          <td>34 534 967</td>
          <td>66 990 826</td>
        </tr>
        <tr>
          <th>102</th>
          <td>NaN</td>
          <td>NaN</td>
          <td>NaN</td>
          <td>NaN</td>
          <td>NaN</td>
        </tr>
        <tr>
          <th>103</th>
          <td>Champ : France inclus Mayotte.</td>
          <td>NaN</td>
          <td>NaN</td>
          <td>NaN</td>
          <td>NaN</td>
        </tr>
        <tr>
          <th>104</th>
          <td>Source : Insee, estimations de population (rés...</td>
          <td>NaN</td>
          <td>NaN</td>
          <td>NaN</td>
          <td>NaN</td>
        </tr>
      </tbody>
    </table>
    </div>



La récupération de ces données est implémentée dans la fonction
`population_france_year <http://www.xavierdupre.fr/app/actuariat_python/helpsphinx/actuariat_python/data/population.html#actuariat_python.data.population.population_france_year>`__
:

.. code:: 

    from actuariat_python.data import population_france_year
    df = population_france_year()

.. code:: 

    df.head(n=3)






.. raw:: html

    <div>
    <table border="1" class="dataframe">
      <thead>
        <tr style="text-align: right;">
          <th></th>
          <th>naissance</th>
          <th>age</th>
          <th>hommes</th>
          <th>femmes</th>
          <th>ensemble</th>
        </tr>
      </thead>
      <tbody>
        <tr>
          <th>0</th>
          <td>2016</td>
          <td>0</td>
          <td>382585</td>
          <td>364392</td>
          <td>746977</td>
        </tr>
        <tr>
          <th>1</th>
          <td>2015</td>
          <td>1</td>
          <td>390810</td>
          <td>373164</td>
          <td>763974</td>
        </tr>
        <tr>
          <th>2</th>
          <td>2014</td>
          <td>2</td>
          <td>402728</td>
          <td>386467</td>
          <td>789195</td>
        </tr>
      </tbody>
    </table>
    </div>



.. code:: 

    df.tail(n=3)






.. raw:: html

    <div>
    <table border="1" class="dataframe">
      <thead>
        <tr style="text-align: right;">
          <th></th>
          <th>naissance</th>
          <th>age</th>
          <th>hommes</th>
          <th>femmes</th>
          <th>ensemble</th>
        </tr>
      </thead>
      <tbody>
        <tr>
          <th>98</th>
          <td>1918</td>
          <td>98</td>
          <td>2474</td>
          <td>10089</td>
          <td>12563</td>
        </tr>
        <tr>
          <th>99</th>
          <td>1917</td>
          <td>99</td>
          <td>1362</td>
          <td>6765</td>
          <td>8127</td>
        </tr>
        <tr>
          <th>100</th>
          <td>1916</td>
          <td>100</td>
          <td>3015</td>
          <td>15617</td>
          <td>18632</td>
        </tr>
      </tbody>
    </table>
    </div>



D’après cette table, il y a plus de personnes âgées de 110 ans que de
109 ans. C’est dû au fait que la dernière ligne aggrège toutes les
personnes âgées de plus de 110 ans.

Table de mortalité 2000-2002 (France)
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

On utilise quelques raccourcis afin d’éviter d’y passer trop de temps.
Les données sont fournis au format Excel à l’adresse :
http://www.institutdesactuaires.com/gene/main.php?base=314. La fonction
`table_mortalite_france_00_02 <http://www.xavierdupre.fr/app/actuariat_python/helpsphinx/actuariat_python/data/population.html#actuariat_python.data.population.table_mortalite_france_00_02>`__
permet de les récupérer.

.. code:: 

    from actuariat_python.data import table_mortalite_france_00_02
    df=table_mortalite_france_00_02()
    df.head()






.. raw:: html

    <div>
    <table border="1" class="dataframe">
      <thead>
        <tr style="text-align: right;">
          <th></th>
          <th>Age</th>
          <th>Homme</th>
          <th>Femme</th>
        </tr>
      </thead>
      <tbody>
        <tr>
          <th>0</th>
          <td>0.0</td>
          <td>100000.0</td>
          <td>100000.0</td>
        </tr>
        <tr>
          <th>1</th>
          <td>1.0</td>
          <td>99511.0</td>
          <td>99616.0</td>
        </tr>
        <tr>
          <th>2</th>
          <td>2.0</td>
          <td>99473.0</td>
          <td>99583.0</td>
        </tr>
        <tr>
          <th>3</th>
          <td>3.0</td>
          <td>99446.0</td>
          <td>99562.0</td>
        </tr>
        <tr>
          <th>4</th>
          <td>4.0</td>
          <td>99424.0</td>
          <td>99545.0</td>
        </tr>
      </tbody>
    </table>
    </div>



.. code:: 

    df.plot(x="Age",y=["Homme", "Femme"],xlim=[0,100])




.. parsed-literal::
    <matplotlib.axes._subplots.AxesSubplot at 0x193a55bee48>




.. image:: population_recuperation_donnees_13_1.png


Taux de fécondité (France)
~~~~~~~~~~~~~~~~~~~~~~~~~~

On procède de même pour cette table avec la fonction
`fecondite_france <http://www.xavierdupre.fr/app/actuariat_python/helpsphinx/actuariat_python/data/population.html#actuariat_python.data.population.fecondite_france>`__.
Source : `INSEE : Fécondité selon l’âge détaillé de la
mère <http://www.insee.fr/fr/themes/tableau.asp?reg_id=0&ref_id=bilandemo2>`__.

.. code:: 

    from actuariat_python.data import fecondite_france
    df=fecondite_france()
    df.head()






.. raw:: html

    <div>
    <table border="1" class="dataframe">
      <thead>
        <tr style="text-align: right;">
          <th></th>
          <th>age</th>
          <th>2005</th>
          <th>2015</th>
        </tr>
      </thead>
      <tbody>
        <tr>
          <th>3</th>
          <td>15.0</td>
          <td>0.1</td>
          <td>0.0</td>
        </tr>
        <tr>
          <th>4</th>
          <td>16.0</td>
          <td>0.2</td>
          <td>0.2</td>
        </tr>
        <tr>
          <th>5</th>
          <td>17.0</td>
          <td>0.5</td>
          <td>0.5</td>
        </tr>
        <tr>
          <th>6</th>
          <td>18.0</td>
          <td>1.0</td>
          <td>1.1</td>
        </tr>
        <tr>
          <th>7</th>
          <td>19.0</td>
          <td>2.0</td>
          <td>2.1</td>
        </tr>
      </tbody>
    </table>
    </div>



.. code:: 

    df.plot(x="age", y=["2005","2015"])




.. parsed-literal::
    <matplotlib.axes._subplots.AxesSubplot at 0x193a583fba8>




.. image:: population_recuperation_donnees_16_1.png


Table de mortalité étendue 1960-2010
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

`table de mortalité de 1960 à
2010 <http://www.data-publica.com/opendata/7098--population-et-conditions-sociales-table-de-mortalite-de-1960-a-2010>`__
qu’on récupère à l’aide de la fonction
`table_mortalite_euro_stat <http://www.xavierdupre.fr/app/actuariat_python/helpsphinx/actuariat_python/data/population.html#actuariat_python.data.population.table_mortalite_euro_stat>`__.

.. code:: 

    from actuariat_python.data import table_mortalite_euro_stat 
    table_mortalite_euro_stat()




.. parsed-literal::
    'mortalite.txt'



.. code:: 

    import os
    os.stat("mortalite.txt")




.. parsed-literal::
    os.stat_result(st_mode=33206, st_ino=9007199255282328, st_dev=311511962, st_nlink=1, st_uid=0, st_gid=0, st_size=105741052, st_atime=1480548419, st_mtime=1480548432, st_ctime=1480548419)



.. code:: 

    import pandas
    df = pandas.read_csv("mortalite.txt", sep="\t", encoding="utf8", low_memory=False)
    df.head()






.. raw:: html

    <div>
    <table border="1" class="dataframe">
      <thead>
        <tr style="text-align: right;">
          <th></th>
          <th>annee</th>
          <th>valeur</th>
          <th>age</th>
          <th>age_num</th>
          <th>indicateur</th>
          <th>genre</th>
          <th>pays</th>
        </tr>
      </thead>
      <tbody>
        <tr>
          <th>0</th>
          <td>2012</td>
          <td>0.00000</td>
          <td>Y01</td>
          <td>1.0</td>
          <td>DEATHRATE</td>
          <td>F</td>
          <td>AD</td>
        </tr>
        <tr>
          <th>1</th>
          <td>2014</td>
          <td>0.00042</td>
          <td>Y01</td>
          <td>1.0</td>
          <td>DEATHRATE</td>
          <td>F</td>
          <td>AL</td>
        </tr>
        <tr>
          <th>2</th>
          <td>2009</td>
          <td>0.00080</td>
          <td>Y01</td>
          <td>1.0</td>
          <td>DEATHRATE</td>
          <td>F</td>
          <td>AM</td>
        </tr>
        <tr>
          <th>3</th>
          <td>2008</td>
          <td>0.00067</td>
          <td>Y01</td>
          <td>1.0</td>
          <td>DEATHRATE</td>
          <td>F</td>
          <td>AM</td>
        </tr>
        <tr>
          <th>4</th>
          <td>2007</td>
          <td>0.00052</td>
          <td>Y01</td>
          <td>1.0</td>
          <td>DEATHRATE</td>
          <td>F</td>
          <td>AM</td>
        </tr>
      </tbody>
    </table>
    </div>



.. code:: 

    df [ ((df.age=="Y60") | (df.age=="Y61")) & (df.annee == 2000) & (df.pays=="FR") & (df.genre=="F")]






.. raw:: html

    <div>
    <table border="1" class="dataframe">
      <thead>
        <tr style="text-align: right;">
          <th></th>
          <th>annee</th>
          <th>valeur</th>
          <th>age</th>
          <th>age_num</th>
          <th>indicateur</th>
          <th>genre</th>
          <th>pays</th>
        </tr>
      </thead>
      <tbody>
        <tr>
          <th>87406</th>
          <td>2000</td>
          <td>5.020000e-03</td>
          <td>Y60</td>
          <td>60.0</td>
          <td>DEATHRATE</td>
          <td>F</td>
          <td>FR</td>
        </tr>
        <tr>
          <th>88955</th>
          <td>2000</td>
          <td>4.860000e-03</td>
          <td>Y61</td>
          <td>61.0</td>
          <td>DEATHRATE</td>
          <td>F</td>
          <td>FR</td>
        </tr>
        <tr>
          <th>485730</th>
          <td>2000</td>
          <td>2.580000e+01</td>
          <td>Y60</td>
          <td>60.0</td>
          <td>LIFEXP</td>
          <td>F</td>
          <td>FR</td>
        </tr>
        <tr>
          <th>487268</th>
          <td>2000</td>
          <td>2.490000e+01</td>
          <td>Y61</td>
          <td>61.0</td>
          <td>LIFEXP</td>
          <td>F</td>
          <td>FR</td>
        </tr>
        <tr>
          <th>882568</th>
          <td>2000</td>
          <td>5.010000e-03</td>
          <td>Y60</td>
          <td>60.0</td>
          <td>PROBDEATH</td>
          <td>F</td>
          <td>FR</td>
        </tr>
        <tr>
          <th>884117</th>
          <td>2000</td>
          <td>4.850000e-03</td>
          <td>Y61</td>
          <td>61.0</td>
          <td>PROBDEATH</td>
          <td>F</td>
          <td>FR</td>
        </tr>
        <tr>
          <th>1281364</th>
          <td>2000</td>
          <td>9.949900e-01</td>
          <td>Y60</td>
          <td>60.0</td>
          <td>PROBSURV</td>
          <td>F</td>
          <td>FR</td>
        </tr>
        <tr>
          <th>1282913</th>
          <td>2000</td>
          <td>9.951500e-01</td>
          <td>Y61</td>
          <td>61.0</td>
          <td>PROBSURV</td>
          <td>F</td>
          <td>FR</td>
        </tr>
        <tr>
          <th>1679610</th>
          <td>2000</td>
          <td>9.307600e+04</td>
          <td>Y60</td>
          <td>60.0</td>
          <td>PYLIVED</td>
          <td>F</td>
          <td>FR</td>
        </tr>
        <tr>
          <th>1681148</th>
          <td>2000</td>
          <td>9.261800e+04</td>
          <td>Y61</td>
          <td>61.0</td>
          <td>PYLIVED</td>
          <td>F</td>
          <td>FR</td>
        </tr>
        <tr>
          <th>2075898</th>
          <td>2000</td>
          <td>9.331000e+04</td>
          <td>Y60</td>
          <td>60.0</td>
          <td>SURVIVORS</td>
          <td>F</td>
          <td>FR</td>
        </tr>
        <tr>
          <th>2077436</th>
          <td>2000</td>
          <td>9.284300e+04</td>
          <td>Y61</td>
          <td>61.0</td>
          <td>SURVIVORS</td>
          <td>F</td>
          <td>FR</td>
        </tr>
        <tr>
          <th>2472219</th>
          <td>2000</td>
          <td>2.405594e+06</td>
          <td>Y60</td>
          <td>60.0</td>
          <td>TOTPYLIVED</td>
          <td>F</td>
          <td>FR</td>
        </tr>
        <tr>
          <th>2473757</th>
          <td>2000</td>
          <td>2.312517e+06</td>
          <td>Y61</td>
          <td>61.0</td>
          <td>TOTPYLIVED</td>
          <td>F</td>
          <td>FR</td>
        </tr>
      </tbody>
    </table>
    </div>