.. blogpost::
:title: Préparation pour la séance 5, données out of memory
:keywords: big data,
:date: 2017-05-23
:categories: big data
Certains jeux disponibles sur
`data.gouv.fr `_
sont très volumineux. C'est l'occasion de voir comment se
débrouiller quand les données ne tiennent pas en mémoire.
Pour la prochaine, nous utiliserons un des fichiers disponibles sur cette page :
`DAMIR `_,
de préférence un des plus récents.
Il faudra le télécharger avant la séance. Nous verrons différentes options
pour le manipuler.
* `pandas et les itérateurs `_
* `sqlite3 `_
* `dask `_
* `zarr `_
* `format de données compressés `_
Correction de l'exercice proposé dans le blog précédent :
:ref:`pyramidebigarreerst`.