1A - Projets informatiques#

Les exercices présentent la logique de la programmation mais la pratique est la seule véritable façon de progresser. La plupart des élèves qui n’avaient pas ou peu programmé avec ce projet ont noté une réelle différence avant et après. Ci-dessous, quelques phrases extraites de rapports d’étudiants et qui traduiront mieux que je ne pourrais le faire les étapes par lesquelles on passe dans ce type d’aventure.

Travail attendu et contraintes#

Le projet dure quatre mois au second semestre (de février à mai). Il se conclut par un programme et un rapport. Une soutenance fin mai, début juin. Le rapport doit souligner la contribution originale des élèves, illuster les résultats numériques obtenus et la façon dont ils ont été obtenus. On suppose que le rapport s’adresse à un public expert. La soutenance doit reprendre les points principaux, décrire brièvement la façon dont le travail a été réparti au sein de l’équipe.

Chaque projet, quelque soit le sujet, devra comporter une composante numérique (statistique, économique, financière, …), que ce soit une stratégie de trading, l’optimisation d’une intelligence artificielle pour un jeu, une simulation économique. Cet aspect devra ressortir lors de la rédaction du rapport final qui devra exposer les résultats numériques obtenus et faire au moins une ou deux allusions à la façon dont ces calculs ont été implémentés. Voici la liste des contraintes :

  • le projet doit inclure une composante numérique,

  • le code doit inclure un test unitaire (voir 1A.soft Tests unitaires, setup et ingéniérie logiciel (correction)),

  • le projet ne doit inclure aucune donnée réelle,

  • lors de la soutenance, chaque membre d’un groupe devra décrire le code d’un algorithme utilisé dans le projet et dire en quoi il est optimal.

Recommandations#

Ces remarques sont plus un guide qu’un plan précis comme cet extrait de film bien connu The Pirate code.

  • git et github, tous les projets open source l’utilisent, il facilite le travail à plusieurs

  • les tests unitaires sont utiles pour s’assurer qu’un algorithme fonctionne toujours malgré toutes les modifications

  • un algorithme ne doit pas s’arrêter en cours de route, il doit aussi produire des résultats, un graphique permet en coup d’oeil d’en juger la cohérence.

Sujets proposés#

Les sujets proposés abordent différents domaines connexes aux enseignements proposés à l’ENSAE (finance, statistique, économie) et quelques jeux. Tous les projets proposés sont des suggestions, les élèves sont libres d’élaborer un sujet de leur choix ou de s’inspirer des énoncés ci-dessous à la condition de le faire valider par un encadrant. Afin d’avoir un premier suivi productif, il est conseillé de parcourir les références bibliographiques suggérées. C’est souvent l’occasion de découvrir un sujet que vous ne verrez pas ou peu à l’ENSAE. Par genre :

Liste exhaustive :

  1. ML algo : Apprentissage par renforcement

  2. ML algo : Algorithme de Chow-Liu

  3. ML algo : Reconnaissance des visages de ses amis

  4. ML algo : Deep et Extreme Machine Learning

  5. ML algo : Alignement de mots dans l’optique de constuire un traducteur automatique

  6. ML algo : Fast k-NN (2016)

  7. ML algo : Accélération de la descente de gradient dans le cadre d’une optimisation convexe (2016)

  8. ML algo : Ecrire une librairie pour représenter des modèles de machine learning (2018)

  9. Jeu 1 : 2048

  10. Jeu 1 : Voronoï solo

  11. Jeu 1 : Puzzle GCHD (2016)

  12. Jeu 1 : Tetris (2018)

  13. Jeu 1 : Rikudo, Hikudo (2021)

  14. ML : Inférer les trajectoirs de vélo vélib

  15. ML : Nuages de mots, extraction de concepts

  16. ML : Twitter

  17. ML : Recherche de texte dans n’importe quelle base de données avec Whoosh

  18. ML : Régression à base de plus proches voisins (2017)

  19. ML : Construction d’un estimateur du caractère éthique d’un moteur de recherche (2017)

  20. ML : Détection de fumée dans les images (2017)

  21. ML : Implémenter un SNN : Spiking Neural Network (2018)

  22. ML : Implémenter un algorithme des plus proches voisins amélioré (2018)

  23. ML : Détecter le plagiat dans le code (2020)

  24. Finance : Trend following

  25. Finance : Optimisation de portefeuille

  26. Finance : Pair trading

  27. Finance : Machine learning et trading

  28. Finance : ETF: réplication d’un indice

  29. Simulation : Simuler la ségégation sociale

  30. Simulation : Simulation d’une foule en panique

  31. Simulation : Simuler l’évolution d’un réseau social

  32. Simulation : Pourquoi la ligne 13 est-elle surchargée ? (2016)

  33. Simulation : Simuler une épidémie avec un modèle SIRD (2020)

  34. Objets connectés : Application smartphone

  35. Objets connectés : Domotique

  36. Objets connectés : Expressions du visages en temps réel (2017)

  37. Objets connectés : Reconnaissance de la parole en temps réel et BOT (2017)

  38. Objets connectés : Mon Skype à moi (2019)

  39. Algo génétique : Optimisation à partir d’algorithmes génétiques

  40. Algo génétique : Problème du sac-à-dos et algorithmes génétiques

  41. Algo génétique : Problème du voyageur de commerce et algorithme génétique

  42. Algo génétique : Colonie de fourmis et plus court chemin

  43. Algo génétique : Recherche de motifs

  44. Jeu 2 : Awalé

  45. Jeu 2 : Echecs

  46. Jeu 2 : Echecs 1D (2021)

  47. Jeu 2 : Go

  48. Jeu 2 : Gomoku

  49. Jeu 2 : Othello

  50. Jeu 2 : Pai Sho (2016)

  51. Jeu 2 : Puissance 4

  52. Jeu 2 : Pokémon (2016)

  53. Jeu 2 : Tic Tac Toe 9x9 (2016)

  54. Algo : Ondes Wifi

  55. Algo : Pentomino

  56. Algo : Recherche exacte d’un motif, d’une expression

  57. Algo : Recherche approximative d’un motif, d’une expression

  58. Algo : Problème du voyageur de commerce

  59. Algo : Problème des tournées de véhicules

  60. Algo : Construction d’une texture

  61. Algo : Simulation d’une loi statistique avec un algorithme d’optimisation A*

  62. Algo : Recalage d’un réseau

  63. Algo : Structure de données adaptée à la recherche de palindromes

  64. Algo : Implémentation d’une grammaire probabiliste pour traiter le langage naturel

  65. Algo : Distance entre deux arbres : Robinson–Foulds (2016)

  66. Algo : Résolution de systèmes d’inéquations (2016)

  67. Algo : Elaboration d’un clavier (2017)

  68. Algo : Impression 3D (2018)

  69. Algo : Détection de période dans les séquences qui préservent l’ordre (2018)

  70. Jeu hasard : Poker

  71. Jeu hasard : Belotte

Que faut-il en attendre ?#

Vous serez plus autonome. Vous n’aurez plus l’assurance qu’une solution existe ni même quelqu’un qui vous donnera la réponse tout de suite si vous ne trouvez pas. Vous devrez parfois vous interroger sur les résultats numériques que vous avez obtenus et qui sont si loin de votre intuition qu’ils cachent sans doute une erreur d’implémentation. Vous devrez vous-même définir le problème et y répondre. Cela veut dire parfois aussi faire un compromis entre ce que vous rêvez de faire et le temps que vous avez pour le faire. Si vous travailler à deux, vous découvrirez qu’il n’est pas toujours évident de se synchroniser. Heureusement, les outils ont beaucoup progressé ces dix dernières années. Un projet informatique s’effectue le plus souvent sur le long terme. Vous verrez que si on fait une pause de quelques semaines dans un projet, on oublie beaucoup de petits détails qu’on redécouvre aux détours d’une exception. Mais là encore, il existe des solutions. Le plus important sans doute, programmer veut aussi dire être créatif. Pour finir, voici ce qu’en ont retiré les élèves de première année en 2015 : Extraits des projets informatiques de première année à l’ENSAE en 2015.

Ce que vous ne lisez jamais mais que j’observe chaque année#

Erreurs de design fréquentes#

Ce ne sont pas à proprement parler des erreurs car elles n’altèrent pas l’exécution du programme. Toutefois elles le rendent plus difficile à lire et à corriger en cas d’une vraie erreur. La plupart des développeurs les font lorsqu’ils apprennent à programmer et ne les font plus par la suite.

Un seul gros fichier

Chaque année, je vois plusieurs projets informatiques implémenter en un seul gros fichier. C’est sans doute dû au fait que, lorsqu’on travaille à deux ou trois, il est plus facile de s’échanger un seul fichier que plusieurs. Je remarque d’ailleurs que les « groupes » d’un élève font créent plus souvent plusieurs fichiers.

Lorsqu’on développe un jeu, il est préférable de séparer la partie affiche de la partie intelligence artificielle, il est encore mieux de les mettre dans deux fichiers séparés. La partie IA sera considéré comme un module et la partie affichage comme le programme principal.

Pour éviter l’envoi continu de mail entre deux membres du même groupe, le meilleur recours est l’emploi d’un logiciel de suivi de source. GitHub est une possibilité. C’est celle que j’utilise pour développer ce cours : sdpython/ensae_teaching_cs. Cela permet de suivre les modifications (un commit), ou de revenir en arrière.

Le copier/coller de plus de 10 lignes pour changer un caractère

Je schématise un peu. Concrètement, lorsqu’on programme un jeu à deux joueurs, on fait des choses pour le premier joueur dans un bloc de code qu’on recopie pour l’autre joueur avec quelques modifications subtiles

if joueur == 1 :
    next_joueur = 2
    proba_1[eta_succ[U-1]]=1
    proba_2[eta_succ[U-1]]=0
    proba_2[eta_succ[U-2]]=0
    proba_1[sym(eta_succ[U-1])]=1
    proba_2[sym(eta_succ[U-1])]=0
    proba_2[sym(eta_succ[U-2])]=0
else :
    next_joueur = 1
    proba_2[eta_succ[U-1]]=1
    proba_1[eta_succ[U-1]]=0
    proba_1[eta_succ[U-2]]=0
    proba_2[sym(eta_succ[U-1])]=1
    proba_1[sym(eta_succ[U-1])]=0
    proba_1[sym(eta_succ[U-2])]=0

Ceci est à éviter le plus possible. Cela allonge inutilement les programmes mais surtout cela oblige développeur à répercuter une modification sur tous les blocs recopiés. Et on se trompe souvent. Dans ce cas précis, il est facile d’écrire

if joueur == 1 :
    pr1,pr2 = proba_1,proba_2
else :
    pr1,pr2 = proba_2,proba_1

next_joueur = 3 - next_joueur
pr1[eta_succ[U-1]]=1
pr2[eta_succ[U-1]]=0
pr2[eta_succ[U-2]]=0
pr1[sym(eta_succ[U-1])]=1
pr2[sym(eta_succ[U-1])]=0
pr2[sym(eta_succ[U-2])]=0

Et si on est vraiment pointilleux

pr1,pr2 = proba_1,proba_2 if joueur == 1 else proba_2,proba_1

next_joueur = 3 - next_joueur
eu_1 = eta_succ[U-1]
seu_1 = sym(eta_succ[U-1])

pr1[eu_1]=1
pr2[eu_1]=0
pr2[eta_succ[U-2]]=0
pr1[seu_1]=1
pr2[seu_1]=0
pr2[sym(eta_succ[U-2])]=0

Les variables globales

Elles sont pratiques :

  • On y met les paramètres d’une simulation ou l’état d’un jeu de poker.

  • On n’a pas besoin de les transmettre comme paramètres à chaque fonction.

Ce choix simple peut devenir ennuyeux par la suite lorsqu’on souhaite faire tourner plusieurs le même programme en changeant ces variables globales. Pour éviter cela, le plus simple est de créer une classes qui les contient toutes et de passer une instance de cette classe à chaque fonction qui en a besoin

class VariablesGlobales :
    def __init__(self):
        self.epsilon = 0.01
        self.alpha = 0.5
        self.iter = 1000
        # ...

variable = VariablesGlobales ()

def fonction_qui_en_a_besoin( varglob) :
    s = varglob.alpha
    for i in range(0,varglob.iter):
        # ...

Façons d’écrire du code lent#

if if if if

if x == 1:
    r = 0
if x == 2:
    r = 1

Le second if porte sur une condition qui n’a aucune chance d’être vérifiée si la première l’est. Il faut utiliser elif.

if x == 1:
    r = 0
elif x == 2:
    r = 1

sort à la place d’un top k

def deux_meilleures_options(l):
    l.sort()
    return l[0:2]

Trier toute une liste pour n’extraire que deux éléments est plus coûteux que nécessaire même si c’est simple à coder.

def deux_meilleures_options(l):
    ens = ((v, i) for i, v in enumerate(l))
    return min(ens)[0], min(ens[1:])[0]

Appel de fonction inutile

def mean_vector(x):
    return sum(x) / len(x)

if mean_vector(x)[0] < mean_vector(x)[1]:
    # ...

Le test appelle deux fois la fonction mean_vector avec les mêmes paramètres. Le résultat sera forcément identique.

def mean_vector(x):
    return sum(x) / len(x)

v = mean_vector(x)
if v[0] < v[1]:
    # ...

deepcopy inutile

def enumerate_transposition(li):
    for i in range(1, len(li)):
        cl = copy.deepcopy(li)
        cl[0], cl[i] = li[i], li[0]
        yield cl

Est-il vraiment nécessaire de faire une copie la liste ? Autant ne pas le faire et l’indiquer dans la documentation.

def enumerate_transposition(li):
    """
    the function does not return a copy,
    do not modify the returned list
    """
    for i in range(1, len(li)):
        li[0], li[i] = li[i], li[0]
        yield li
        li[0], li[i] = li[i], li[0]

langue

Si vous hésitez entre l’anglais et le français, préférez l’anglais.

Oublis dans le rapport#

Le code qu’on a jeté

Lorsqu’on fait un projet de la sorte, il arrive souvent qu’on jette du code qu’on a écrit. On découvre parfois que le programme tel qu’il est conçu ne permet pas de faire tel ou tel chose, il faut en réécrire une partie. On écrit parfois du code jetable lorsqu’on a besoin d’un résultat numérique. Une fois celui-ci obtenu, on l’intègre au programme et on jette le code qui a permis de l’obtenu.

C’est parfois utile dans votre rapport de décrire ces codes jetés. Dans le premier cas, le code jeté sert de justification au nouveau. Dans le second cas, cela rassure de voir que certains résultats ne sortent pas de nulle part.

Qu’avez-vous appris ?

Certaines conclusions mentionnent le fait qu’on apprend beaucoup à faire un projet informatique, seul, sans aide extérieure. On apprend autant que durant des séances de travaux pratiques. C’est un des objectifs de l’exercice : apprendre à maîtriser cet outil qu’est la programmation. Mais il n’est pas utile de préciser cela dans le rapport.

Mais ce projet demande aussi une part d’imagination, que ce soit pour concevoir une fonction d’évaluation pour une intelligence artificielle, une simulation économique réaliste, une stratégie financière… Tout au long de la mise en place de ses idées, on s’aperçoit que les premiers jets sont parfois un peu naïf, que les premiers résultats numériques ne sont pas aussi bons qu’escomptés. Il faut retravailler l’idée initiale. Cette partie doit ressortir dans votre rapport et elle doit bien ressortir.

Qu’est-ce que le lecteur va retenir ?

Expliquer les choses, les illustrer, choisir le bon graphique, le bon tableau, pour défendre une idée n’est pas toujours simple. Il faut parfois imaginer qu’un rapport sera lu deux fois, une fois en diagonale, une autre plus sérieusement.

Il faut se poser la question de savoir ce que vous voulez que le lecteur retienne.

Un programme informatique est d’autant plus difficile à cerner qu’il est long. Le rapport est la version la plus accessible de votre travail. C’est le point de départ. A partir de là, on navigue plus aisément dans votre programme.

La phrase suivante est librement inspirée d’un rapport à propos d’un jeu :

On choisit finalement la première intelligence artificielle mais en choisissant cette fois-ci de bons paramètres.

De cette phrase, je comprends que certains paramètres ont été optimisés mais le rapport ne revient jamais sur cet aspect. Donc :

  • Je dois deviner quelle partie du programme a servi à cela, si toutefois le code est encore là. Je vois bien un fichier qui correspond mais il ne marche pas (ou plus). Je ne suis pas sûr d’avoir envie de le débugger.

  • Je ne sais pas quels sont ces paramètres, je n’ai aucune idée des résultats obtenus, ni même que la différence de niveau entre les bons paramètres et les mauvais.

  • Je comprends qu’un travail d’optimisation a été effectué mais je n’ai aucune idée de l’importance qu’il revêt. Si le rapport n’en fait pas mention, c’est sans doute que cela n’est qu’une contribution minime.

Un exemple ou une copie d’écran

Les copies d’écran est indispensable pour une interface graphique ou un site web. Le résultats de vos algorithmes doit être illustrés sur au moins un exemple qui fonctionne et, si cela a du sens, un autre qui ne fonctionne pas.

Imprécision

Je paraphrase :

On a comparé les deux intelligences artificielles en jouant contre elles, la seconde est meilleure.

Et en chiffres ?

Maladresses lors de la soutenance#

Court transparent, grand discours

Lorsqu’on a beaucoup de choses à dire, on prend le risque de noyer l’auditoire sans pouvoir lui rappeler au cours de ce discours les idées importantes qu’il devrait retenir. Un transparent part souvent d’une intention lorsqu’on crée la présentation. Devant le public, on s’aperçoit que l’intention est plus complexe qu’il n’y paraît. C’est à ce moment qu’il faut faire attention à ne pas noyer ceux qui écoutent. Il ne faut pas hésiter alors à écrire au tableau les idées importantes même si elles n’étaient pas écrites initialement sur la présentation. Le pire est sans doute de rester plus de deux minutes sur le même transparent tout en exposant des idées insufisamment préparées dont la perception est le plus souvent confuse.

Suivre le plan du rapport

Il faut partir du principe que la soutenance s’adresse à un public non expert qui n’a probablement pas lu votre rapport. Selon ce critère, suivre le même plan que le rapport ne devrait sans doute pas poser de problème. Un bémol : en suivant le même plan que le rapport, on a parfois tendance à reproduire le même discours sans vraiment chercher à l’adapter à ce moyen d’expression.

Tout dire

La soutenance est courte et impose souvent de faire un tri sur tout ce que vous voulez présenter. Le plus souvent, l’auditoire n’est pas un expert et quand bien même il le serait, la plupart des présentations abordent des sujets complexes qu’il est difficile d’appréhender en quelques minutes. Vous n’avez pas l’occasion de démontrer la pertinence des résultats, il y a toujours une forme de confiance qui s’établit entre celui qui expose et celui qui écoute. Car à la fin, pour les derniers résultats, les plus intéressants, le public n’a pas d’autres choix que de croire celui qui les énonce. Il est impossible de les vérifier sur le moment.

Comment installer cette relation de confiance ? Il n’y a pas de règles, juste quelques directions comme montrer comment un algorithme se comporte sur un problème simple, montrer comment l’algorithme s’est construit peu à peu en considérant quelques exemples précis, insister sur le fait que vous avez contrôlé chaque étape du développement et laisser l’auditoire supposer que vous avez appliqué la même rigueur jusqu’à l’obtention des résultats finaux. Au cinéma, cette figure s’appelle une ellipse (voir aussi L’ellipse - leçon (filmée) de cinéma).

Déduction rapide

Beaucoup de groupes tirent des conclusions de peu d’expérimentations : une simulation n’est pas une preuve mathématique, et il faut répéter plusieurs fois la même simulation pour une avoir une certitude statistique.