module faq.faq_hadoop
#
Short summary#
module ensae_teaching_cs.faq.faq_hadoop
Quelques questions autour de Hadoop
Functions#
function |
truncated documentation |
---|---|
Documentation#
Quelques questions autour de Hadoop
- ensae_teaching_cs.faq.faq_hadoop.putty_different_python()#
La version de Python est différente dans putty
Lorsqu’on ouvre une fenêtre putty, on crée une passerelle vers une autre machine, le plus souvent linux. Ce qu’on voit à l’intérieur de la fenêtre est la ligne de commande de cette machine. Ce n’est pas vraiment la ligne de commande mais plutôt une représentation. Les commandes sont envoyés à la machine distance via le protocole SSH. Je renvoie au TD Map/Reduce avec PIG qui montre comment se server de putty pour envoyer des commandes vers le cluster. Il est aussi possible de créer sa propre fenêtre putty à l’intérieur d’un notebook (voir Communication with a remote Linux machine through SSH).
Mais comment fait-on pour exécuter un script python sur la machine distance ?
Deux options. On l’écrit sur sa machine locale avec l’éditeur dont on a l’habitude puis on transfère le fichier sur la machine distante pour l’exécuter avec la commande
python <fichier.py>
La seconde option consiste à ouvrir un édieur de texte à l’intérieur de la fenêtre putty. Tout se fait avec des raccourcis puisque la souris est inutilisable. On peut utiliser les éditeurs vi ou nano.
Une astuce : pour éviter de sortir de l’éditeur nano ou vi à chaque fois qu’on souhaite exécuter le script, il suffit d’ouvrir une seconde fenêtre putty. La première sert à éditer, la seconde à exécuter le script.