page de blog - 7/8¶

2016-01-25

Le fait qu’on puisse utiliser des scripts Python dans un script PIG est un peu trompeur. De là à penser que la librairie numpy serait utilisable… Tout d’abord, les versions officielles de numpy et Python sont implémentaires en C voire un peu de Fortran et Hadoop / PIG est implémenté en java qui a l’avantage de bénéficier d’un garbage collector contrairement au langage C. Ceci explique que la version de Python utilisée par PIG pour définir des UDF (User Defined Function) est Jython. Utiliser numpy dans une fonction UDF n’est pas simple. La première direction consiste à utiliser une version java de numpy :

…

2016-01-19

La classe DictVectorizer n’accepte pas de DataFrame. Le code suivant n’est pas correct :

…

2016-01-04

De nouvelles sources de données ont été ajoutés à la page Source de données reproduites ci-dessous :

…

2015-12-22

I came accross the following article Evaluation of Deep Learning Toolkits which studies a short list of libraries for deep learning: Caffe, CNTK, TensorFlow, Theano, Torch, and various angles: modeling capability, interfaces, model deployment, performance, architecture, ecosystem, cross-platform. It gives a nice overview and helps choosing the library which fits your needs. Once your deep models has been trained, how to use it? This question should be the first one to be answered.

…

2015-09-20

Je dois créer un sous-répertoire par élève et je ne retrouve jamais ce petit code que j’écris chaque année pour le faire:

...

2015-09-07

Sur la page Unofficial Windows Binaries for Python Extension Packages, on distingue deux versions de Numpy : MKL (Math Kernel Library) et unoptimized. La version MKL est la plus rapide comme le montre l’article Numpy/Scipy with Intel MKL. Elle est compilée avec un jeu d’instructions processeur étendu.

…

2015-08-27

Le module neural-python implémente les réseaux de neurones. Il propose une interface similaire à celle de scikit-learn mais sa documentation est réussie.

2015-07-17

Mon premier réflexe pour faire de l’optimisation avec contrainte était de me tourner vers cvxopt, de trouver la fonction qui correspondait à mon problème puis à renseigner construire les différentes matrices.

…

2015-07-17

Le langage PIG s’occupe de beaucoup de choses pour celui qui l’utilise. Entre autres, il s’occupe de distribuer les calculs sans trop avoir d’a priori sur les données qu’il traite. Mais comment concevoir une répartition des calculs qui fonctionne pour la plupart des cas ? L’un des problèmes les plus fréquents est celui du skewed join : on cherche à fusionner deux tables dont les clés ne sont pas distribuée de manière uniforme, loin de là. L’article suivant Assignment Problems of Different-Sized Inputs in MapReduce creuse aborde quelques aspects de cette problématique.

2015-05-28

Je vois chaque année des bouts de code qui ressemble à ceci

...