Apprendre par essais et erreurs
ObjectifFaire apprendre une machine qui n’a ni règle écrite ni exemple étiqueté, seulement des récompenses.
Déroulé
- 5 min
Accroche
Demander : comment avez-vous appris à faire du vélo ? Personne ne vous a montré des milliers d’exemples étiquetés « bon équilibre » et « chute ». On a essayé, on est tombé, on a recommencé. Demander si une machine peut apprendre ainsi. Annoncer qu’on va construire une machine en papier qui apprend à gagner à un jeu sans qu’on lui explique rien.
- 6 min
Le jeu des sept allumettes
Donner la règle : sept allumettes, chacun à son tour en prend une ou deux, celui qui prend la dernière a gagné. Faire jouer deux parties entre voisins. Demander s’il existe une bonne façon de jouer, sans la donner : certains élèves la devinent, la machine la trouvera seule.
- 5 min
La machine en papier
Présenter la feuille des six boîtes : une boîte par nombre d’allumettes que la machine peut avoir devant elle, 7, 5, 4, 3, 2 et 1. Dans chaque boîte, des ronds « prendre 1 » et des ronds « prendre 2 », deux de chaque au départ. La machine joue toujours en premier et choisit au dé, proportionnellement aux ronds. Donner la règle d’apprentissage : si elle perd, on barre le rond du dernier coup joué ; si elle gagne, on ajoute un rond pour chaque coup joué. Une boîte vide, la machine abandonne.
- 18 min
Entraîner la machine
Binômes. L’un joue la machine : il lance le dé, applique la règle sans jamais choisir lui-même, barre et ajoute les ronds. L’autre joue l’adversaire, pour gagner. On échange les rôles toutes les quatre parties. Noter sur la feuille de score, partie après partie, qui a gagné. Jouer au moins douze parties.
- 7 min
Mise en commun
Relever au tableau, partie par partie, le nombre de binômes où la machine a gagné : les premières colonnes sont presque vides, les dernières presque pleines. Faire lire les boîtes : après une dizaine de parties, la boîte 7 ne contient presque plus que « prendre 1 », la boîte 5 « prendre 2 », la boîte 4 « prendre 1 », et la boîte 3 est vide. Faire formuler la stratégie que la machine a trouvée seule : laisser à l’adversaire un multiple de trois. Personne ne la lui a écrite.
- 4 min
Des allumettes aux champions
Raconter Donald Michie, qui a fait apprendre le morpion à 304 boîtes d’allumettes en 1961, et AlphaGo, qui a battu l’un des meilleurs joueurs de go en 2016 après des millions de parties jouées contre lui-même. Nommer la méthode : l’apprentissage par renforcement. Faire dire ce qui change par rapport aux séances précédentes : ni règle écrite ni exemple étiqueté, seulement une récompense après coup.
- 5 min
Trace écrite
Projeter la trace écrite, la faire recopier ou distribuer la version imprimée.
- 5 min
Vérification
Lire les quatre questions. Les élèves notent la lettre de leur réponse, puis la correction suit aussitôt.
Savoir professeur
Les connaissances utiles pour faire la séance. Environ dix minutes de lecture.
Place de la séance
Les séances 2 à 10 ont montré une machine qui apprend à partir d’exemples dont on connaît la réponse. Il existe une autre façon d’apprendre, la plus proche de celle d’un enfant qui apprend à marcher : essayer, échouer, recommencer, et garder ce qui marche. C’est l’apprentissage par renforcement. Personne ne fournit d’exemples étiquetés ; la machine ne reçoit qu’un signal après coup, une récompense ou une punition. La séance le fait vivre avec une machine en papier, puis le relie aux champions de go et aux assistants.
Trois façons d’apprendre
Il est utile de poser au tableau les trois familles rencontrées depuis le début de l’année.
- Les règles écrites par un humain, séance 2 : calculatrice, thermostat, feu tricolore.
- Les exemples étiquetés, séances 2 à 10 : des milliers de cas avec leur réponse, et une machine qui ajuste ses calculs pour les retrouver.
- Les essais et les récompenses, cette séance : ni règle ni exemple, seulement un résultat à la fin, et des choix renforcés ou affaiblis.
Les grands systèmes combinent souvent les trois. Un assistant conversationnel apprend d’abord sur des textes, puis il est réglé par des récompenses venues de personnes qui classent ses réponses, ce que montrera la séance 15.
Jeu et stratégie
Le jeu des sept allumettes est un jeu de Nim simplifié. Chacun prend une ou deux allumettes ; qui prend la dernière a gagné. Il existe une stratégie imparable : laisser à l’adversaire un multiple de trois. Devant 6 ou 3 allumettes, quoi qu’il fasse, on peut lui rendre un multiple de trois, jusqu’à prendre la dernière. La machine joue en premier devant 7 : elle doit prendre 1 pour laisser 6, puis répondre à chaque coup de l’adversaire en laissant 3, puis gagner.
Il ne faut pas donner cette stratégie aux élèves. Certains la devinent pendant les deux parties d’essai ; c’est bien, ils joueront un adversaire redoutable, et la machine apprendra plus vite contre eux.
Machine en papier
La machine n’est qu’une feuille et un dé. Six boîtes correspondent aux six situations qu’elle peut rencontrer : 7 allumettes au départ, puis 5, 4, 3, 2 ou 1 après le coup de l’adversaire. Dans chaque boîte, des ronds représentent les deux coups possibles, deux ronds pour « prendre 1 » et deux pour « prendre 2 ». Pour jouer, on lance le dé et l’on choisit proportionnellement aux ronds, comme à la séance 12 pour le mot suivant. Au départ, la machine joue donc au hasard.
La règle d’apprentissage tient en deux lignes. Si la machine perd, on barre un rond dans la colonne du dernier coup joué : ce coup devient moins probable. Si elle gagne, on ajoute un rond pour chaque coup joué : ces coups deviennent plus probables. Rien d’autre.
Le résultat est spectaculaire en une quinzaine de parties, à condition que l’adversaire joue pour gagner. La boîte 3 se vide, parce que tout coup y perd. La colonne « prendre 2 » de la boîte 4 se vide, parce que laisser 2 allumettes fait perdre. Puis la colonne « prendre 1 » de la boîte 5, puis la colonne « prendre 2 » de la boîte 7. À la fin, il ne reste que les coups de la stratégie imparable, et la machine ne perd plus. Elle a trouvé la règle des multiples de trois sans jamais la connaître : elle ne sait pas compter, elle a seulement gardé ce qui lui a fait gagner.
Deux détails de conduite comptent. Celui qui joue la machine doit appliquer la règle à la lettre, sans jamais choisir ; sinon la stratégie vient de l’élève, pas de la règle. Et l’adversaire doit jouer sérieusement : contre un adversaire qui laisse gagner, la machine renforce n’importe quoi. C’est une première leçon sur la récompense, qui façonne ce qui est appris.
Des allumettes aux champions
En 1961, l’informaticien britannique Donald Michie, qui n’avait pas d’ordinateur sous la main, a construit la même machine pour le morpion : 304 boîtes d’allumettes, une par situation du jeu, remplies de perles de couleur, une couleur par case possible. Après quelques centaines de parties, sa machine, baptisée MENACE, ne perdait plus. Le principe de la séance est exactement le sien.
En 2016, AlphaGo a battu Lee Sedol, l’un des meilleurs joueurs de go au monde, un jeu longtemps jugé hors de portée des machines. AlphaGo a d’abord appris sur des parties humaines, puis s’est entraîné par renforcement en jouant des millions de parties contre lui-même. Sa version suivante, AlphaGo Zero, a appris sans aucune partie humaine, par le seul renforcement, et l’a surpassé.
Le renforcement sert bien au-delà des jeux : apprendre à un robot à marcher ou à saisir un objet, régler le refroidissement d’un centre de données, choisir quelle vidéo recommander, ce que la séance 29 étudiera. Et il intervient dans le réglage final des assistants conversationnels, où la récompense vient des préférences de personnes.
Récompense et pièges
La récompense est choisie par des humains, et la machine optimise exactement ce qu’on lui donne, pas ce qu’on voulait. En 2016, des chercheurs ont entraîné une machine à un jeu de course de bateaux en la récompensant par le score ; elle a découvert qu’en tournant en rond dans une petite zone pour ramasser des bonus, elle marquait davantage qu’en finissant la course, et n’a plus jamais terminé une course. Un adversaire complaisant dans la classe produit le même effet : la machine apprend à gagner contre lui, pas à bien jouer.
Le renforcement a aussi un coût : des millions d’essais. On le pratique en simulation quand l’erreur est chère ou dangereuse, comme pour la conduite, et l’on garde un contrôle humain. Enfin, comme pour les exemples étiquetés, ce que la machine a appris peut surprendre : elle gagne, sans qu’on sache toujours dire pourquoi.
Vocabulaire et erreurs fréquentes
Employer : essai, récompense, renforcer, stratégie, apprentissage par renforcement. Le terme anglais reinforcement learning est courant dans les articles.
Trois idées reçues reviennent. « La machine connaît la stratégie » : elle n’a que des ronds, et ne sait pas ce qu’est un multiple de trois. « Elle apprend toute seule » : des humains ont choisi le jeu, les coups possibles, la récompense et la règle d’apprentissage. « Le hasard l’empêche d’apprendre » : c’est le hasard qui lui fait essayer ; sans lui, elle n’explorerait jamais.
Version avec ordinateurs
- Le jeu et la machine en papier restent sur la table : c’est la partie la plus importante de la séance.
- Les binômes notent ensuite dans un tableur, une ligne par partie, le numéro de la partie et 1 si la machine a gagné, 0 sinon. Une colonne calcule le nombre de victoires cumulées ; le graphique de cette colonne s’incurve vers le haut : la machine gagne de plus en plus souvent.
- Les binômes rapides écrivent en Python une version de la machine : une liste de ronds par boîte, un tirage au hasard, la règle d’apprentissage, et mille parties contre un adversaire qui joue au hasard. Afficher les boîtes à la fin.
Version sans ordinateur
Toute la séance se fait sans ordinateur.
Matériel
- Une feuille A4 par binôme pour les six boîtes, dessinées d’après la fiche 2, et une feuille de score d’après la fiche 3.
- Un dé à six faces par binôme. À défaut, six papiers numérotés tirés dans une trousse.
- Sept allumettes, crayons ou trombones par binôme.
Consignes
- Exiger que la machine applique la règle à la lettre : celui qui la joue ne choisit jamais, il lance le dé et barre ou ajoute. C’est la condition pour que la stratégie vienne de la règle, pas de l’élève.
- L’adversaire joue pour gagner. S’il laisse gagner la machine, elle apprend n’importe quoi.
- Ne pas donner la stratégie des multiples de trois : la mise en commun doit la faire apparaître dans les boîtes.
- Quand une boîte est vide, la machine abandonne : la partie compte comme perdue et l’on barre le rond du coup précédent.
Dossier documentaire (quatre fiches)
Fiche 1. Le jeu des sept allumettes
Sept allumettes sont posées sur la table. Chacun à son tour en prend une ou deux. Celui qui prend la dernière allumette a gagné. La machine joue toujours en premier.
Fiche 2. La machine en papier
Six boîtes, une par nombre d’allumettes que la machine peut trouver devant elle : 7, 5, 4, 3, 2, 1. Chaque boîte a deux colonnes, « prendre 1 » et « prendre 2 », avec deux ronds dans chacune au départ ; la boîte 1 n’a que la colonne « prendre 1 ». Pour jouer : ouvrir la boîte du nombre d’allumettes restant, compter les ronds non barrés, a dans « prendre 1 » et b dans « prendre 2 », lancer le dé ; de 1 à a, prendre 1 ; de a + 1 à a + b, prendre 2 ; au-delà, relancer. Noter chaque coup joué. Fin de partie : si la machine a perdu, barrer un rond dans la colonne du dernier coup joué ; si elle a gagné, ajouter un rond dans la colonne de chaque coup joué. Si une boîte est vide, la machine abandonne.
Fiche 3. Feuille de score
Un tableau de quinze lignes, une par partie, et trois colonnes : numéro de la partie, coups joués par la machine (par exemple 7→1, 4→1, 2→2), gagnant. À la fin, compter les victoires de la machine sur les cinq premières parties, puis sur les cinq dernières.
Fiche 4. Ce que la machine finit par trouver
Avec 7 allumettes, prendre 1 ; avec 5, prendre 2 ; avec 4, prendre 1 ; avec 2, prendre 2 ; avec 1, prendre 1. Avec 3 allumettes, tout coup perd contre un bon adversaire : la boîte se vide. Le principe commun : laisser à l’adversaire un multiple de trois, 6 ou 3. La machine ne connaît pas ce principe ; elle a seulement gardé les coups qui lui ont fait gagner.
Trace écrite
Une machine peut apprendre sans règle écrite ni exemple étiqueté : elle essaie, reçoit après coup une récompense ou une punition, et renforce les choix qui ont mené à la victoire. C’est l’apprentissage par renforcement.
Au départ, elle joue au hasard. Après des dizaines de parties, les mauvais coups ont disparu et une stratégie apparaît, que personne ne lui a écrite.
Cette méthode a fait gagner des machines au morpion dès 1961, avec des boîtes d’allumettes, et au jeu de go en 2016, après des millions de parties jouées contre elles-mêmes. Elle sert aussi aux robots, aux recommandations et au réglage des assistants.
Vérification
À projeter ou à lire en fin de séance. La réponse s’affiche en cliquant sur « Réponse ».
-
Qu’est-ce que la machine en papier reçoit pour apprendre ?
- ALa liste des bons coups, écrite par le professeur.
- BLe résultat de chaque partie, gagnée ou perdue.
- CDes exemples de parties jouées par des champions.
Réponse
B. Elle ne reçoit rien d’autre qu’une récompense ou une punition après la partie. C’est à partir de ce seul signal que les ronds changent.
-
La machine a perdu. Que fait-on ?
- AOn barre le rond du dernier coup qu’elle a joué.
- BOn ajoute un rond dans toutes les boîtes.
- COn recommence une feuille neuve.
Réponse
A. Le dernier coup est le plus probablement fautif : on le rend moins probable. Les coups gagnants, eux, reçoivent un rond de plus et deviennent plus probables.
-
Pourquoi la machine joue-t-elle au dé ?
- AParce que le jeu des allumettes est un jeu de hasard.
- BParce qu’elle ne sait pas encore quel coup est bon : le hasard lui fait essayer, et les récompenses trient ensuite.
- CPour que l’adversaire ne puisse pas prévoir ses coups.
Réponse
B. Sans hasard, elle jouerait toujours le même coup et ne découvrirait jamais les autres. Le dé explore ; la règle d’apprentissage retient.
-
Quelle différence avec les machines des séances précédentes ?
- AAucune, elle apprend aussi à partir d’exemples étiquetés.
- BElle apprend sans exemples étiquetés, seulement par essais et récompenses.
- CElle applique des règles écrites par le professeur.
Réponse
B. Les plus proches voisins, l’arbre et le neurone recevaient des exemples avec leur réponse. Ici, personne ne dit quel coup est bon : la machine le découvre en jouant.
Questions difficiles
Questions d’élèves embarrassantes, avec une réponse possible.
La machine triche, elle connaît les règles du jeu !
Elle ne connaît que la liste des coups possibles, prendre une ou deux allumettes, pas la façon de gagner. Un enfant qui apprend les règles des échecs ne sait pas encore jouer. Ce que la machine découvre, c’est quel coup garder dans chaque situation, et elle ne sait même pas pourquoi.
Et si mon adversaire joue mal ?
La machine apprend contre l’adversaire qu’elle a. Face à un joueur faible, elle peut garder des coups qui perdraient contre un bon joueur. Les grands systèmes ont le même problème ; AlphaGo l’a contourné en jouant contre lui-même, pour avoir toujours un adversaire à son niveau.
Pourquoi ne barrer que le dernier coup ?
Parce que c’est le plus probablement fautif, et que la règle doit rester simple à appliquer à la main. Les vrais systèmes répartissent la punition sur tous les coups de la partie, un peu moins sur les plus anciens.
Ça marche pour une voiture autonome ?
En simulation, oui : une voiture virtuelle peut se tromper un million de fois. Dans la rue, on ne peut pas perdre mille parties. C’est pourquoi on combine simulation, exemples enregistrés et règles écrites, et qu’on garde un contrôle humain.
C’est comme ça que ChatGPT a appris ?
Pas pour l’essentiel : il a d’abord appris à prédire le mot suivant sur des textes, ce que montre la séance 12. Mais son réglage final utilise une récompense : des personnes classent ses réponses, et il est ajusté pour produire celles qu’elles préfèrent. La séance 15 le montrera.