<== page de blog - 2/13 ==> Blog cours (3) module (4)
page de blog - 2/13¶
Outils pour trucs chiants¶
2020-06-19
Il existe beaucoup de trucs chiants qu’on fait régulièrement quand on programme. Par exemple, pour ces cours, maintenir à jour tous les notebooks en dépit des nombreuses mises à jour de pandas, scikit-learn, numpy et j’en passe… C’est très chiant, surtout si on envisage de le faire manuellement (il y a plus de 200 notebooks). Alors c’est quand même beaucoup moins chiants de réfléchir à une façon de l’automatiser. Quand j’ai commencé il y a cinq ans à réfléchir à tout ça, il n’existait pas tous les outils dont on dispose aujourd’hui. J’ai fourré plein de codes dans un module pyquickhelper qui m’aide à faire tourner tous les notebooks chaque semaine avec Jenkins pour m’assurer qu’ils fonctionnent encore. Mais aujourd’hui, je vous dirais qu’il existe un outil pour à peu près tout car il est très probable que, quelque soit votre besoin, quelqu’un ait eu le même. Il suffit de chercher.
…
Parallélisation avec pathos¶
2020-05-04
BayesianOptimization, optimisation bayésienne en pure python
Le livre suivant a l’air pas mal du tout : Mastering Large Datasets with Python.
…
Quelques vidéos de PyCon¶
2020-05-01
Première vidéo à propos de « privacy » ou protection des données : tensorflow_privacy, Practical privacy-preserving machine learning in Python.
…
Worst case scenarios¶
2020-04-08
J’ai découvert les publications de Maria-Florina Balcan aujourd’hui. Un de ses axes de recherches est - je cite - Analysis of Algorithms beyond the Worst Case. Celui-ci propose une amélioration de la construction d’arbres utilisés pour optimiser la recherche d’éléments dans un espace vectoriel : Learning to Branch. Je recommande aussi les livres cités sur la page de son cours : Advanced Introduction to Machine Learning. Parmi ceux que j’ai envie de lire : The Power of Localization for Efficiently Learning Linear Separators with Noise, Data Driven Resource Allocation for Distributed Learning, Learning Valuation Functions, Dispersion for Data-Driven Algorithm Design, Online Learning, and Private Optimization.
…
Articles¶
2020-02-20
La librairie deslib implémente plusieurs algorithme de sélection de modèles sur des problèmes de classifications. Mais plutôt que de sélectionner un modèle ou un ensemble de modèle sur toutes la base, elle sélectionne les meilleurs modèles localement. On appelle cela la sélection dynamique de classifieurs (voir Sélection dynamique de modèles).
…
Kaggle…¶
2019-12-05
Kaggle propose des sujets principalement académiques depuis quelques années. Est-ce une bonne source de données pour un projet étudiant ? Ca l’a été. Maintenant, les étudiants n’ont plus grand chose à faire pour sortir de ce qui a déjà été fait. Le sujet soccer a été étudié sous toutes les coutures par beaucoup de gens qui laissent le fruit de leur travail sur le site. Un des derniers parus Match Outcome Prediction Project correspond à ce qu’on attend d’un futur datascientist. Il faudrait que je regarde ce que le site contient avant de me pencher sur le projet d’un étudiant qui a choisi ce jeu de données. Il serait possible de bannir kaggle de la liste des sources de données admissibles ou faire confiance aux étudiants. J’avoue qu’à leur âge, je ne lisais pas beaucoup, internet n’existait pas il est vrai. Mais ça m’amusait plus d’inventer mes propres trucs que de réutiliser ceux des autres qui marchaient pourtant bien. C’est comme ça que j’ai recodé plein de trucs inutiles pour le principe de faire quelque chose qui m’appartienne. Ou alors ça me paraissait plus simple d’inventer un truc nouveau que de comprendre le travail des autres.
Notebook maintenance¶
2019-09-21
Je dis souvent en cours qu’un notebook pète tous les quinze jours. Le dernier 2A.i - Table de mortalité dans plusieurs containers plante sur une instruction qui me fait penser que j’attendrais la prochaine version avant de me pencher dessus car je n’en comprends pas la logique. Je l’ai laissée avec une exception et j’ai ajouté une ligne équivalente mais très probablement moins efficace. Tout cela à cause de xarray. Le monde open source est pavé de bonnes intentions.
Créer un exécutable¶
2019-06-15
On me pose parfois la question, comment faire pour créer son propre exécutable et ne pas avoir à installer python chez un client pour faire tourner ce qu’on a fait pour lui. Cet article y répond : Making a Stand Alone Executable from a Python Script using PyInstaller.
…
Un module pour annoter les données¶
2019-05-24
Le machine learning supervisé a besoin de données labellisées. Sans label, pas d’apprentissage, quand il n’y en a pas, il faut les fabriquer. C’est long, fastidieux mais on apprend beaucoup on labellisant ses données, il arrive souvent qu’on change la façon de le faire en les regardant. Toutefois, il faut le faire un jour. Je n’ai pas essayé l’outil suivant mais il pourrait aider : SMART.
Quelques modules intéressants¶
2019-05-20
Une liste de modules à suivre. Un benchmark sur pandas pour commencer : Fast-Pandas. On voit que en deça de 10.000 lignes, l’ordinateur passe son temps surtout dans le code python. Après, il fait enfin un peu de calcul.
…
<== page de blog - 2/13 ==> 2020-08 (2) 2020-09 (1) 2020-10 (2) 2020-11 (2) 2020-12 (1)