:orphan:

|rss_image|  **Hadoop - 1/1** :ref:`Blog <ap-main-0>` :ref:`article (8) <ap-cat-article-0>` :ref:`articles (3) <ap-cat-articles-0>` :ref:`cours (6) <ap-cat-cours-0>` :ref:`module (7) <ap-cat-module-0>` :ref:`paper (3) <ap-cat-paper-0>`

.. |rss_image| image:: feed-icon-16x16.png
    :target: ../_downloads/rss.xml
    :alt: RSS

----


.. index:: Hadoop


.. _ap-cat-Hadoop-0:

Hadoop - 1/1
++++++++++++

.. blogpostagg::
    :title: Numpy, Hadoop, PIG, Java
    :date: 2016-01-25
    :keywords: Map Reduce,Java,PIG,Hadoop,JyNI,Jep
    :categories: Hadoop
    :rawfile: 2016/2016-01-25_numpy_hadoop.rst

    Le fait qu'on puisse utiliser des scripts
    `Python <https://www.python.org/>`_
    dans un script `PIG <https://pig.apache.org/>`_ est un peu trompeur.
    De là à penser que la librairie `numpy <http://www.numpy.org/>`_ serait utilisable...
    Tout d'abord, les versions officielles de numpy et Python sont
    implémentaires en `C <https://fr.wikipedia.org/wiki/C_(langage)>`_
    voire un peu de `Fortran <https://fr.wikipedia.org/wiki/Fortran>`_
    et Hadoop / PIG est implémenté en
    `java <https://fr.wikipedia.org/wiki/Java_%28langage%29>`_
    qui a l'avantage de bénéficier d'un
    `garbage collector <https://en.wikipedia.org/wiki/Garbage_collection_(computer_science)>`_
    contrairement au langage C.
    Ceci explique que la version de Python utilisée par PIG
    pour définir des UDF (User Defined Function)
    est `Jython <http://www.jython.org/>`_.
    Utiliser numpy dans une fonction UDF n'est pas simple.
    La première direction consiste à utiliser une version java
    de numpy :
    

    ...





----

|rss_image|  **Hadoop - 1/1** :ref:`2022-10 (1) <ap-month-2022-10-0>` :ref:`2022-12 (2) <ap-month-2022-12-0>` :ref:`2023-01 (1) <ap-month-2023-01-0>` :ref:`2023-02 (1) <ap-month-2023-02-0>` :ref:`2023-04 (1) <ap-month-2023-04-0>`