2018-12-29 GraphFrames

Les graphes sont toujours compliqués en MapReduce, GraphFrames. Ca n’a pas l’air trop mal A Gentle Intro To Graph Analytics With GraphFrames mais il est difficile de comprendre en quoi la solution se distingue d’un neo4j. En fait, je ne suis pas sûr que ce type de solution permettent de résoudre tous les problèmes. Le coût réseau Groute performance vs. Gunrock est très important pour les graphes car il faut pouvoir accéder à n’importe quelle partie. Je crois plutôt à des grosses machines avec pas mal de coeurs et des librairies écrites en C++. Je m’interroge sur des trucs de ce style Charm++ ou Presto: Distributed Machine Learning and Graph Processing with Sparse Matrices. Un autre article High-Level Programming Abstractions for Distributed Graph Processing à lire sans doute (ça aussi MapReduce formulation of PageRank) Lemon. J’ai trouvé ça aussi teexgraph mais le code n’a pas l’air terrible (double, pas float et autres défauts). Bref, pour les très gros graphes, la ruse a encore quelques beaux jours.