.. _pigparamsazurerst:

====================================
PIG et Paramètres sur Azure - énoncé
====================================


.. only:: html

    **Links:** :download:`notebook <pig_params_azure.ipynb>`, :downloadlink:`html <pig_params_azure2html.html>`, :download:`PDF <pig_params_azure.pdf>`, :download:`python <pig_params_azure.py>`, :downloadlink:`slides <pig_params_azure.slides.html>`, :githublink:`GitHub|_doc/notebooks/pig_hive/pig_params_azure.ipynb|*`


Manipulation de données JSON en Map/Reduce avec
`PIG <https://pig.apache.org/>`__ sur
`HDInsight <https://azure.microsoft.com/en-us/services/hdinsight/>`__.

.. code:: ipython3

    from jyquickhelper import add_notebook_menu
    add_notebook_menu()






.. contents::
    :local:





Paramètres
----------

Les sites web produisent des données en continu. On utilise fréquemment
le même script pour traiter les donnéesd’un jour, du lendemain, de jour
d’après… Tous les jours, on veut récupérer la fréquentation de la
veille. La seule chose qui change est la date des données qu’on veut
traiter. Plutôt que de recopier un script en entier pour changer une
date qui apparaît parfois à plusieurs endroits, il est préférable
d’écrire un script ou la date apparaît comme une variable.

Ce notebook va illustrer ce procédé sur la construction d’un
histogramme. Le paramètre du script sera la largeur des barres de
l’histogramme (ou
`bin <http://en.wikipedia.org/wiki/Histogram#Number_of_bins_and_width>`__
en anglais).

Connexion au cluster
--------------------

On prend le cluster
`Cloudera <http://www.xavierdupre.fr/app/ensae_teaching_cs/helpsphinx/notebooks/td3a_cenonce_session6.html#p2>`__.
Il faut exécuter ce script pour pouvoir notifier au notebook que la
variable ``params`` existe.

.. code:: ipython3

    import pyensae
    from pyquickhelper.ipythonhelper import open_html_form
    params={"blob_storage":"", "password1":"", "hadoop_server":"", "password2":"", "username":"alias"}
    open_html_form(params=params,title="server + hadoop + credentials", key_save="blobhp")






.. raw:: html

    <div style="background-color:gainsboro; padding:2px; border:0px;"><b>server + hadoop + credentials</b>
    <br />blob_storage <input type="text" id="blobhpblob_storage" value="" size="80" />
    <br />hadoop_server <input type="text" id="blobhphadoop_server" value="" size="80" />
    <br />password1 <input type="password" id="blobhppassword1" value="" size="80" />
    <br />password2 <input type="password" id="blobhppassword2" value="" size="80" />
    <br />username <input type="text" id="blobhpusername" value="alias" size="80" />
    <br /><button onclick="set_valueblobhp()">Ok</button></div>
    <script type="text/Javascript">
    function blobhpcallback(msg) {
       var ret = msg.content.data['text/plain'];
       $('#outblobhp').text(ret);
    }
    function set_valueblobhp(){
       command='blobhp = {' ;
       var blobhpblob_storagevar_value = document.getElementById('blobhpblob_storage').value;
       command += '"blob_storage":"' + blobhpblob_storagevar_value + '",';
       var blobhphadoop_servervar_value = document.getElementById('blobhphadoop_server').value;
       command += '"hadoop_server":"' + blobhphadoop_servervar_value + '",';
       var blobhppassword1var_value = document.getElementById('blobhppassword1').value;
       command += '"password1":"' + blobhppassword1var_value + '",';
       var blobhppassword2var_value = document.getElementById('blobhppassword2').value;
       command += '"password2":"' + blobhppassword2var_value + '",';
       var blobhpusernamevar_value = document.getElementById('blobhpusername').value;
       command += '"username":"' + blobhpusernamevar_value + '",';
       command += '}';
       var kernel = IPython.notebook.kernel;
       kernel.execute(command);
    }
    </script>



.. code:: ipython3

    import pyensae
    %load_ext pyensae
    %load_ext pyenbc
    blobstorage = blobhp["blob_storage"]
    blobpassword = blobhp["password1"]
    hadoop_server = blobhp["hadoop_server"]
    hadoop_password = blobhp["password2"]
    username = blobhp["username"]
    client, bs =  %hd_open
    client, bs




.. parsed-literal::
    (<pyensae.remote.azure_connection.AzureClient at 0xabaea50>,
     <azure.storage.blobservice.BlobService at 0xabaea90>)



Upload version
--------------

On commence par simuler des données.

.. code:: ipython3

    import random
    with open("random.sample.txt", "w") as f :
        for i in range(0,10000) :
            x = random.random()
            f.write(str(x)+"\n")

On uploade le fichier sur le cluster (il n’est pas besoin de créer le
répertoire au préalable).

.. code:: ipython3

    %blob_up random.sample.txt /$PSEUDO/random/random.sample.txt




.. parsed-literal::
    '$PSEUDO/random/random.sample.txt'



.. code:: ipython3

    %blob_ls /$PSEUDO/random






.. raw:: html

    <div style="max-height:1000px;max-width:1500px;overflow:auto;">
    <table border="1" class="dataframe">
      <thead>
        <tr style="text-align: right;">
          <th></th>
          <th>name</th>
          <th>last_modified</th>
          <th>content_type</th>
          <th>content_length</th>
          <th>blob_type</th>
        </tr>
      </thead>
      <tbody>
        <tr>
          <th>0</th>
          <td> xavierdupre/random/random.sample.txt</td>
          <td> Thu, 27 Nov 2014 23:21:26 GMT</td>
          <td> application/octet-stream</td>
          <td> 202619</td>
          <td> BlockBlob</td>
        </tr>
      </tbody>
    </table>
    </div>



PIG et paramètres
-----------------

On indique un paramètre par le symbole : ``$bins``. La valeur du
paramètre est passé sous forme de chaîne de caractères au script et
remplacée telle quelle dans le script. Il en va de même des constantes
déclarées grâce au mot-clé
`%declare <https://pig.apache.org/docs/r0.11.1/cont.html#Examples-N1060D>`__.

La sortie du script inclut le paramètre : cela permet de retrouver
comment ces données ont été générées.

.. code:: ipython3

    %%PIG histogram.pig
    
    values = LOAD '$CONTAINER/$PSEUDO/random/random.sample.txt' USING PigStorage('\t') AS (x:double);
    
    values_h = FOREACH values GENERATE x, ((int)(x / $bins)) * $bins AS h ;
    
    hist_group = GROUP values_h BY h ;
    
    hist = FOREACH hist_group GENERATE group, COUNT(values_h) AS nb ;
    
    STORE hist INTO '$CONTAINER/$PSEUDO/random/histo_$bins.txt' USING PigStorage('\t') ;

Pour supprimer les précédents résultats :

.. code:: ipython3

    if client.exists(bs, client.account_name, "$PSEUDO/random/histo_0.1.txt"):
        r = client.delete_folder (bs, client.account_name, "$PSEUDO/random/histo_0.1.txt")
        print(r)    

On exécute le job. Comme la commande magique supportant les paramètres
n’existe pas encore, il faut utiliser la variable ``client`` et sa
méthode
`pig_submit <http://www.xavierdupre.fr/app/pyensae/helpsphinx/pyensae/remote/ssh_remote_connection.html?highlight=pig_submit#pyensae.remote.ssh_remote_connection.ASSHClient.pig_submit>`__
qui fait la même chose. Elle upload le script puis le soumet.

.. code:: ipython3

    jid = client.pig_submit(bs, client.account_name, "histogram.pig", params = dict(bins="0.1"), stop_on_failure=True )




.. parsed-literal::
    {'id': 'job_1416874839254_0101'}



.. code:: ipython3

    st = %hd_job_status jid["id"]
    st["id"],st["percentComplete"],st["status"]["jobComplete"]




.. parsed-literal::
    ('job_1416874839254_0101', '100% complete', True)



.. code:: ipython3

    %hd_tail_stderr jid["id"]






.. raw:: html

    <pre>

    Job DAG:
    job_1416874839254_0102


    2014-11-27 23:29:00,446 [main] WARN  org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MapReduceLauncher - No FileSystem for scheme: wasb. Not creating success file
    2014-11-27 23:29:00,446 [main] INFO  org.apache.hadoop.yarn.client.RMProxy - Connecting to ResourceManager at headnodehost/100.74.20.101:9010
    2014-11-27 23:29:00,525 [main] INFO  org.apache.hadoop.mapred.ClientServiceDelegate - Application state is completed. FinalApplicationStatus=SUCCEEDED. Redirecting to job history server
    2014-11-27 23:29:03,900 [main] INFO  org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MapReduceLauncher - Success!

    </pre><br />



On vérifie que tout s’est bien passé. La taille devrait être équivalent
à l’entrée.

.. code:: ipython3

    %blob_ls /$PSEUDO/random






.. raw:: html

    <div style="max-height:1000px;max-width:1500px;overflow:auto;">
    <table border="1" class="dataframe">
      <thead>
        <tr style="text-align: right;">
          <th></th>
          <th>name</th>
          <th>last_modified</th>
          <th>content_type</th>
          <th>content_length</th>
          <th>blob_type</th>
        </tr>
      </thead>
      <tbody>
        <tr>
          <th>0</th>
          <td>              xavierdupre/random/histo_0.1.txt</td>
          <td> Thu, 27 Nov 2014 23:28:55 GMT</td>
          <td>                         </td>
          <td>      0</td>
          <td> BlockBlob</td>
        </tr>
        <tr>
          <th>1</th>
          <td>     xavierdupre/random/histo_0.1.txt/_SUCCESS</td>
          <td> Thu, 27 Nov 2014 23:28:55 GMT</td>
          <td> application/octet-stream</td>
          <td>      0</td>
          <td> BlockBlob</td>
        </tr>
        <tr>
          <th>2</th>
          <td> xavierdupre/random/histo_0.1.txt/part-r-00000</td>
          <td> Thu, 27 Nov 2014 23:28:54 GMT</td>
          <td> application/octet-stream</td>
          <td>    131</td>
          <td> BlockBlob</td>
        </tr>
        <tr>
          <th>3</th>
          <td>          xavierdupre/random/random.sample.txt</td>
          <td> Thu, 27 Nov 2014 23:21:26 GMT</td>
          <td> application/octet-stream</td>
          <td> 202619</td>
          <td> BlockBlob</td>
        </tr>
      </tbody>
    </table>
    </div>



.. code:: ipython3

    import os
    if os.path.exists("histo.txt") : os.remove("histo.txt")
    %blob_downmerge /$PSEUDO/random/histo_0.1.txt histo.txt




.. parsed-literal::
    'histo.txt'



.. code:: ipython3

    import matplotlib.pyplot as plt
    plt.style.use('ggplot')
    import pandas
    df = pandas.read_csv("histo.txt", sep="\t",names=["bin","nb"])
    df.plot(x="bin",y="nb",kind="bar")




.. parsed-literal::
    <matplotlib.axes._subplots.AxesSubplot at 0x9b21d30>




.. image:: pig_params_azure_23_1.png


Exercice 1 : min, max
---------------------

Ajouter deux paramètres pour construire l’histogramme entre deux valeurs
``a``,\ ``b``.