.. _centrale201606rst:

=========================================
Big Data, Azure, Machine Learning, Python
=========================================


.. only:: html

    **Links:** :download:`notebook <centrale_201606.ipynb>`, :downloadlink:`html <centrale_2016062html.html>`, :download:`PDF <centrale_201606.pdf>`, :download:`python <centrale_201606.py>`, :downloadlink:`slides <centrale_201606.slides.html>`, :githublink:`GitHub|_doc/notebooks/2016/centrale/centrale_201606.ipynb|*`


Présentation à Centrale Paris - Juin 2016.

`Xavier Dupré <http://www.xavierdupre.fr/>`__

``xavier.dupre AT gmail.com``

Senior Engineer at **Microsoft France** on `Azure
ML <https://azure.microsoft.com/fr-fr/services/machine-learning/>`__,
**Teacher in Computer Science** at the `ENSAE <http://www.ensae.fr/>`__

|Azure ML| |ENSAE|

.. |Azure ML| image:: logo_azureml.png
.. |ENSAE| image:: ENSAE_logo_developpe.jpg

.. code:: ipython3

    from jyquickhelper import add_notebook_menu
    add_notebook_menu()






.. contents::
    :local:





Introduction
------------

**Expérience**


-  Microsoft, Bing, Azure
-  Enseignements, ENSAE, Formation professionnelle (Institut des
   actuaires) (+ 200 élèves, + 60h de cours)

**Expertise**


-  Machine Learning (PhD)
-  Python
-  Map Reduce
-  Azure

**Microsoft in universities**


-  `Microsoft, partenaire de la filière Data Science de l’ENSAE
   ParisTech avec Microsoft Azure Machine
   Learning <http://news.microsoft.com/fr-fr/2014/09/23/microsoft-partenaire-de-la-filiere-data-science-de-lensae-paristech-avec-microsoft-azure-machine-learning/#sm.00003ys2fe13deeauvpdv9gdiv2oi>`__
   (2014)
-  `Developing the Next Wave of Data
   Scientists <https://blogs.technet.microsoft.com/machinelearning/2016/06/14/developing-the-next-wave-of-data-scientists/>`__
   (2015-2016)
-  Microsoft is one of the sponsors of the
   `DataScienceGame <http://www.datasciencegame.com/sponsors>`__ (2016)

`Microsoft - ENSAE -
Hackathon <https://www.youtube.com/embed/Y1UKAbbExn8>`__

Que feriez-vous si ?
~~~~~~~~~~~~~~~~~~~~


-  Statistiques descriptives sur un fichier de 1GO, 10Go, 100Go ?
-  Apprendre une régression logisitique sur … ?
-  Apprendre une forêt d’arbre sur … ?
-  Et si vous ceviez le faire toutes les semaines ?
-  Comment représenter 10M de points sur une carte ?

Retour des étudiants à propos du hackathon :

*C’était bien de se confronter à des données pas très propres.*

Démarrage d’un cluster Hadoop sur Azure
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

Cas concret 1 : système de recommandation, moteur de recherches
---------------------------------------------------------------


-  Système de recommandation, application chez Bing aux recherches
   associées
-  Quelques approches théoriques
-  La mise en pratique avec aux gros volumes de données
-  Optimisation sur Internet, apprentissage par renforcement

Outils Big Data chez Microsoft / Azure
--------------------------------------


-  Cluster Map/Reduce, Azure ML, Machine Virtuelle, Power BI
-  Trois exemples d’utilisation (Machine Virtual, Azure ML, Cluster
   Hadoop) sur des jeux de données académiques
-  Quelques exercices

Cas concret 2 : suggestions sur Internet
----------------------------------------

-  Réflexions autour de l’impact d’un système de suggestions

   -  Sur les utilisateurs
   -  Sur les logs

-  Métriques : comment mesurer l’impact ?

.. figure:: img_bing.png
   :alt: suggestion

   suggestion