:orphan: |rss_image| **machine learning - 1/1** :ref:`Blog ` :ref:`machine_learning (3) ` .. |rss_image| image:: feed-icon-16x16.png :target: ../_downloads/rss.xml :alt: RSS ---- .. index:: machine learning .. _ap-cat-machine_learning-0: machine learning - 1/1 ++++++++++++++++++++++ .. blogpostagg:: :title: Réseaux de neurones et arbres de décision :date: 2020-08-22 :keywords: inégalités :categories: machine learning :rawfile: 2020/2020-08-22_nn.rst Je ne peux m'empêcher parfois de m'embarquer dans l'implémentation d'une idée que j'ai eue, simplement parce que je pense que c'est possible, que je la voie devant moi sans pouvoir la toucher. J'ai imaginé une façon de convertir un arbre de décision en un arbre de décision, parce qu'une fonction sigmoïde est une approximation d'une fonction en escalier. Je me suis toujours que c'était possible sans vraiment aller jusqu'au bout car je n'avais aucun doute là-dessus. Et puis j'ai commencé à faire un lien entre ce mécanisme et la possibilité de créer une arbre de décision où chaque noeud n'est plus un seuil sur une variable mais sur une droite : :ref:`l-decnntrees`. Cela permettrait de construire des arbres avec n'importe quelle séparation linéaire au lieu de seulement des horizontales et des verticales, donc tout autant interprétable et probablement plus petit. ... .. blogpostagg:: :title: Les maths, ça bugge moins quand même :date: 2019-05-05 :keywords: inégalités :categories: machine learning :rawfile: 2019/2019-05-05_maths.rst Trouver un bug dans un millier de lignes de codes, c'est rarement le jeu qui apporte le plus de joie excepté peut-être le moment l'erreur surgit sur l'autel comme la mariée apparaît dans l'église. Les bugs font souvent de mauvais mariages et de très bons divorces. Le pire survient après avoir découvert qu'ils se sont de nouveau invités dans le pâté et le fromage. Je me suis amusé avec les régressions linéaires :ref:`l-reglin-variations`, quantiles et par morceaux. Et je me suis retrouvé un jour avec une question existencielle à propos d'une régression logistique qui ressemblait visuellement beaucoup à un diagramme de Voronoï tant est si bien que je me suis demandé s'ils étaient jumeaux ou simplement parent (:ref:`l-lrvor-connection`). Je recycle quelques vieilles idées qui m'ont ramené au temps que j'ai passé chez Yahoo :ref:`l-graph_distance`. Et celui-là aussi :ref:`l-k-algo-gest` dont je trouve l'idée toujours aussi séduisante. J'ai dû fixer quelques erreurs dans :ref:`l-roc-theoritically` car, j'ai beau faire, je n'arrive toujours pas à retenir la définition de *False Positive Rate*... C'est quand le prédicteur dit blanc alors que c'est noir ou l'inverse. Bref, je n'insiste plus, je suis un dyslexique du classifieur. Je me suis amusé dans d'autres domaines : :epkg:`Predictable t-SNE`, :epkg:`Visualize a scikit-learn pipeline`, :epkg:`Regression with confidence interval`. ... .. blogpostagg:: :title: Adam :date: 2017-02-16 :keywords: gradient :categories: machine learning :rawfile: 2017/2017-02-16_gradient.rst `Adam `_ n'est pas le personnage de la saison 4 de `Buffy contre les vampires `_ mais un algorithme de descente de gradient : `Adam: A Method for Stochastic Optimization `_. Si vous ne me croyez pas, vous devriez lire cette petite revue `An overview of gradient descent optimization algorithms `_. Un autre algorithme intéressant est `Hogwild `_, asynchrone et distribué. Bref, a unicorn comme disent les anglais. ---- |rss_image| **machine learning - 1/1** :ref:`2016-08 (1) ` :ref:`2017-02 (1) ` :ref:`2018-08 (1) ` :ref:`2019-05 (1) ` :ref:`2020-08 (1) `