Parallélisation, sérialisation

La sérialisation est le fait de convertir n’importe quelle structure de données en un tableau d’octets, c’est indispensable pour la communication entre deux machines, deux processus.

Notebooks

• Parallélisation
  • 2A.i - Parallélisation locale (énoncé)
  • 2A.i - Jupyter et calcul distribué
• Sérialisation
  • 2A.i - Sérialisation
  • 2A.i - Sérialisation - correction

Modules

• dask

• cytoolz

• joblib

Lectures

• Out-of-Core Dataframes in Python: Dask and OpenStreetMap (2015/12)

• Combining random forest models in scikit learn

• Better Python compressed persistence in joblib