XD blog

blog page

2015-07


2015-07-28 PyData 2015 in Seattle

I attended my first conference pydata in Seattle and I must say I learned a lot. I discovered much what I could ever do by looking on Internet for a library for a precise need. That was really worth taking a plane and attend. Most of all, I felt people very passionnated, constantly looking for improvement. So passionate that I would definitely recommend Python over R as a first choice for a machine learning language. R seems only to grow by the number of available packages. But Python catches up. And its environment is also extending by various initiatives to improve plotting or the handling of very big datasets.

I would not be surprised if a language named Rython pops up one day.


more...

2015-07-20 Drawing tree with Python

I did not find any good module to draw trees with Python. I tried networkx or graphviz. The first one does not handle big tree very well. The second one does not optimize for trees and it needs to be called through the command line. ete seems a much better option and it is available on Python 3: github/ete3. See also the gallery, the notebook integration, an online visualizer, the documentation (for Python 2).

2015-07-19 L'anonyme n'existe plus

Vous êtes au restaurant et brusquement, le serveur vous rappelle que c'est votre anniversaire avec une bougie sur votre dessert. Mais comment a-t-il fait ? Restaurants Are Googling You Vous avez probablement réservé avec votre nom et le serveur a trouvé votre profil facebook...

2015-07-18 Use virtual environment to develop robots

A decade ago, France stopped nuclear weapons testing and replaced them by simulations. I guess it now happens in virtual environment. Researchers starts to do the same with robots: Minecraft Shows Robots How to Stop Dithering, Using Minecraft to unboggle the robot mind. We do not need to actually build a robot to create a kind of artificial intelligence. It can just be developped in a virtual environment such as Minecraft and interact it with a python module such as picraft. We could try to build a robot which learns how to build a house which does not collapse.

2015-07-17 Short history of scientific computing with Python

This is a more the story of the speaker, Wes McKinney but mixed with Python. Wes McKinney founded DataPad recently acquired by Cloudera. You can find it on this blog: Scientific computing in Python. The story begins en 2007.


more...

2015-07-13 Using Antlr4 to write a grammar

Here are a few tricks I discovered when I implemented my first grammar using Antlr 4. First, it really helps to be able to test some parts of your grammar. One of the options is the plugin IntelliJ Idea Plugin for ANTLR v4 for the following tool: IntelliJ IDEA (the plugin works with the community edition, see also Installing, Updating and Uninstalling Repository Plugins). You will find many grammar examples at antlr/grammars-v4. The tool tells you if the grammar compiles and when it cannot parse an example as it displays a graphs with the recognized pieces.

source: https://github.com/antlr/intellij-plugin-v4
more...

2015-07-11 Apprendre à programmer, coding goûter

Ils sont de plus en plus populaires.

Quelques précédents liens déjà mentionnés : coding goûter.

2015-07-09 Machine Learning, framework, école 42

A few links around machine learning: a new Python module has been released machineLearningStanford. I quote the first sentance of file README.md: This module implements assignments of machine learning coursera Stanford by PYTHON.

A list of frameworks to do machine learning in many languages: awesome-machine-learning. Among them, some links to pieces of code for Kaggle competitions: Kaggle Competition Source Code.

A module to do deep learning in Python: keras.

Pour finir, une émission sur France 4 à propos de l'école 42 et son examen de passage : La Piscine. Un mois d'exercices aux consignes plutôt floues.

2015-07-05 Le voyant lumineux est allumé

Les stations de métros défilent sans que je m'en rende compte, le nez plongé dans un livre. Le dernier que j'ai lu, Loar de Loïc Henry, était proche de Dune, une sorte de mélange de magie et de futur qui semble très lointain voire improbable contrairement de celui de The Minority Report de Philip K. Dick qui pointe le bout de son nez soixante ans après son écriture. Qu'auraient dit nos grands-parents à mon âge si on leur avait dit que ce futur existerait dans soixante ans ?

On a le temps d'y penser...

Oui sans doute, mais on n'y pense jamais. Le réchauffement climatique est passé d'un danger qu'on peut empêcher à une certitude qu'on accepte avec fatalité. Conçu après la guerre, gratuit, le système de santé s'adressait à une majorité de gens en bonne santé qu'on soignait avec une médecine très peu chère car nous ne disposions pas de toutes ces machines très élaborées. Le régime de retraite fut imaginé aussi après la guerre mais l'espérance de vie a quelque peu évolué depuis. Beaucoup de systèmes sont pensés sur des données présentes - comment faire autrement - et sont fournis sans recommandations pour les années futures.

Ah au fait, le système ne marchera plus très bien si jamais on sort de ce cadre là...

Il est plus facile de stopper une centrale nucléaire que le régime de retraite. On mesure tout un tas d'indicateurs afin d'éviter l'accident. Et pour les retraites... Elles ont été mises sur pied car c'était possible à l'époque. Quelques années plus tard, au diable les aspects techniques, seul le principe demeure. Pourtant, faire durer le principe, techniquement, ce n'est pas aussi simple.

Et dans soixante ans, imaginez qu'il n'y ait plus que des métiers créatifs. Le moindre travail manuel est effectué par un robot. Que deviendrait le principe de vacances dans ce contexte ? Que deviendront les artistes si on le devient tous un peu ? On n'en voit d'ailleurs pas beaucoup dans les livres de science fiction. Avez-vous le souvenir d'une mise en abyme, d'un auteur de science-fiction se représentant lui-même dans la période qu'il décrit ?

2015-07-03 Livres, films, couches, prêts... Amazon en assurance ?

C'est paru il y a deux jours : Amazon va faire du crédit aux PME en Europe et en Chine. Amazon sera capable de décider de prêter ou non de l'argent en une journée pour des montants allant de 1000 à 600.000 euros à des taux de 6% à 14%. L'article met en avant la simplicité et la rapidité du système. Derrière ces deux mots, je suppose qu'Amazon aggrègera de nombreuses informations autre que celles récupérées depuis le questionnaire proposé à l'emprunteur (informations géographiques, économiques, web scraping, livres achetés chez Amazon...) Derrière la rapidité se cache probablement le machine learning et des modèles capables d'aggréger toutes ces informations disparates.

Je fais un parallèle avec la reconnaissance d'image ou plus particulièrement celle des chèques. Un ordinateur lit le montant à partir d'une image. Il retourne une prédiction (le montant) avec un score (un nombre entre 0 - mauvais et 1 - bon). Concrètement, l'ordinateur permet de traiter 80% des chèques les plus difficiles et laisse le reliquat à des opérateurs humains. Le modèle d'Amazon ne devrait pas être si éloigné : la société va s'emparer d'une part de marché correspondant aux empunteurs faciles à catégoriser tout en proposant des taux de d'emprunts plus faibles que ceux de la concurrence grâce à un coût de traitement plus faible expliqué par une chaîne de traitement automatisée. Le reliquat des autres emprunteurs devra être traité manuellement probablement par les acteurs de ce secteur qui se partageront la part la plus difficile à gérer et la moins rentable. Après les livres, les films, et à peu près tout ce qui se vend de non périssable, les prêts, que reste-t-il... Les contrats d'assurance ?


Xavier Dupré