RSS page de blog - 1/1 Blog machine_learning (3)


page de blog - 1/1#

Réseaux de neurones et arbres de décision#

2020-08-22

Je ne peux m’empêcher parfois de m’embarquer dans l’implémentation d’une idée que j’ai eue, simplement parce que je pense que c’est possible, que je la voie devant moi sans pouvoir la toucher. J’ai imaginé une façon de convertir un arbre de décision en un arbre de décision, parce qu’une fonction sigmoïde est une approximation d’une fonction en escalier. Je me suis toujours que c’était possible sans vraiment aller jusqu’au bout car je n’avais aucun doute là-dessus. Et puis j’ai commencé à faire un lien entre ce mécanisme et la possibilité de créer une arbre de décision où chaque noeud n’est plus un seuil sur une variable mais sur une droite : Lien vers les réseaux de neurones. Cela permettrait de construire des arbres avec n’importe quelle séparation linéaire au lieu de seulement des horizontales et des verticales, donc tout autant interprétable et probablement plus petit.

article

Les maths, ça bugge moins quand même#

2019-05-05

Trouver un bug dans un millier de lignes de codes, c’est rarement le jeu qui apporte le plus de joie excepté peut-être le moment l’erreur surgit sur l’autel comme la mariée apparaît dans l’église. Les bugs font souvent de mauvais mariages et de très bons divorces. Le pire survient après avoir découvert qu’ils se sont de nouveau invités dans le pâté et le fromage. Je me suis amusé avec les régressions linéaires Régression linéaire, quantiles et par morceaux. Et je me suis retrouvé un jour avec une question existencielle à propos d’une régression logistique qui ressemblait visuellement beaucoup à un diagramme de Voronoï tant est si bien que je me suis demandé s’ils étaient jumeaux ou simplement parent (Régression logistique, diagramme de Voronoï, k-Means). Je recycle quelques vieilles idées qui m’ont ramené au temps que j’ai passé chez Yahoo Distance between two graphs. Et celui-là aussi Détection de segments dont je trouve l’idée toujours aussi séduisante. J’ai dû fixer quelques erreurs dans Courbe ROC car, j’ai beau faire, je n’arrive toujours pas à retenir la définition de False Positive Rate… C’est quand le prédicteur dit blanc alors que c’est noir ou l’inverse. Bref, je n’insiste plus, je suis un dyslexique du classifieur. Je me suis amusé dans d’autres domaines : Predictable t-SNE, Visualize a scikit-learn pipeline, Regression with confidence interval.

article

One Hundred Probability/Statistics Inequalities#

2018-08-10

Découvert dans un tweet : One Hundred Probability/Statistics Inequalities.

article

Adam#

2017-02-16

Adam n’est pas le personnage de la saison 4 de Buffy contre les vampires mais un algorithme de descente de gradient : Adam: A Method for Stochastic Optimization. Si vous ne me croyez pas, vous devriez lire cette petite revue An overview of gradient descent optimization algorithms. Un autre algorithme intéressant est Hogwild, asynchrone et distribué. Bref, a unicorn comme disent les anglais.

article

Articles autour du gradient#

article

Premier blog, juste un essai#

2016-06-19

Premier blog.

article

Lectures#

2016-06-19

Un article intéressant plus pratique que théorique : Recent Advances in Convolutional Neural Networks.

article


RSS page de blog - 1/1 2016-08 (1) 2017-02 (1) 2018-08 (1) 2019-05 (1) 2020-08 (1)