Azure, Python, Programmation#
Pour les années scolaires 2014-2016, des ressources Azure ont été mises à disposition des élèves dans le cadre d’un partenariat entre Microsoft et l’ENSAE. Il existe différentes façons d’utiliser ces ressources. Les outils les plus avancés sont proposés powershell et C# même ils sont pour la plupart adaptés au système d’exploitation Windows, moins pour Linux. C’est pourquoi la plupart des exemples proposés le seront avec le langage Python qui utilise des modules portables d’un système à l’autre.
azure-sdk-for-python : accès au blob storage, ServiceBus
azure-documentdb-python : accès au service NoSQL (ou Distributed Data Store)
azure-batch-apps-python : exécution de batch, création de machine virtuelles…
pyensae#
A ces modules est ajouté une surcouche présente dans pyensae. Cette couche est minimale, elle sert à donner des exemples pour les usages les plus courants et à ajouter des commandes magiques dans les notebooks.
Ce n’est pas très compliqué une fois qu’on a l’exemple mais il faut souvent quelques essais et beaucoup de recherches pour trouver les exemples qui fonctionnent sur internet.
L’exécution de job Pig est réalisé via l’API WebHCat :