Entraînement et test
ObjectifComprendre pourquoi on juge une machine sur des exemples qu’elle n’a jamais vus.
Déroulé
- 5 min
Accroche
Demander : un élève apprend par cœur les corrigés de dix exercices. Il obtient vingt sur vingt si le contrôle reprend ces exercices. Que vaut cette note ? Que faudrait-il pour savoir s’il a compris ? Faire émerger l’idée d’exercices nouveaux.
- 8 min
Le jeu d’entraînement
Distribuer la feuille, une par binôme. Expliquer le graphique : vingt et une plantes déjà examinées par un jardinier, placées selon deux mesures, et classées malades ou en bonne santé. Signaler que le jardinier débutant s’est trompé sur quelques étiquettes, sans dire lesquelles.
- 15 min
Le jeu de test
Les binômes placent les huit plantes du test, dont on connaît l’état réel, et cherchent pour chacune la réponse de deux machines : celle qui copie le plus proche voisin, et celle qui consulte les trois plus proches. Ils comptent les réussites de chacune sur les huit plantes. Rôles : l’un place et mesure, l’autre écrit ; on échange à chaque plante.
- 12 min
Mise en commun
Relever les scores au tableau. Sur ses propres exemples, la machine à un voisin a toujours raison : chaque plante est sa propre voisine. Sur le test, elle se trompe deux fois, piégée par une étiquette erronée. La machine à trois voisins se trompe sur trois exemples d’entraînement, justement ceux mal étiquetés, mais réussit tout le test. Nommer le phénomène : le surapprentissage.
- 5 min
La règle d’or
Formuler la règle avec la classe : on met de côté une partie des exemples avant l’entraînement, et on ne s’en sert que pour évaluer. Revenir à l’élève de l’accroche : le test, ce sont les exercices nouveaux.
- 5 min
Trace écrite
Projeter la trace écrite, la faire recopier ou distribuer la version imprimée.
- 5 min
Vérification
Lire les quatre questions. Les élèves notent la lettre de leur réponse, puis la correction suit aussitôt.
Savoir professeur
Les connaissances utiles pour faire la séance. Environ dix minutes de lecture.
Place de la séance
Jusqu’ici, les élèves ont vu des machines apprendre à partir d’exemples. Cette séance pose une question essentielle : comment savoir si une machine a bien appris ? La réponse spontanée consiste à regarder si elle réussit ses exemples. Cette réponse est fausse, et la séance le fait découvrir.
Jeu de test
La règle d’or de l’apprentissage automatique tient en une phrase : on évalue sur des exemples que la machine n’a jamais vus. Avant l’entraînement, on met de côté une partie des exemples, souvent un sur cinq : c’est le jeu de test. Le reste forme le jeu d’entraînement. Le jeu de test sert uniquement à mesurer ; on ne le montre jamais à la machine pendant l’apprentissage.
L’analogie scolaire fonctionne très bien : un élève qui apprend par cœur les corrigés de dix exercices réussira un contrôle qui reprend ces exercices, sans que l’on sache s’il a compris. Seuls des exercices nouveaux le disent.
Lecture de la feuille
La feuille reprend la méthode des plus proches voisins de la séance 5, avec des plantes décrites par deux mesures : le nombre de jours sans arrosage et le nombre de taches sur les feuilles. Les vingt et une plantes du jeu d’entraînement ont été classées par un jardinier débutant, qui s’est trompé trois fois : une plante bien portante est étiquetée malade, et deux plantes malades sont étiquetées en bonne santé. Ces trois points sont entourés de points de l’autre classe.
Deux machines sont comparées.
- La machine à un voisin recopie l’étiquette du point le plus proche. Sur ses propres exemples, elle a toujours raison : chaque exemple est à distance nulle de lui-même, elle retrouve donc son étiquette, même fausse. Score parfait, vingt et un sur vingt et un. Mais sur le jeu de test, les plantes A et B ont pour plus proche voisin une plante mal étiquetée : elle se trompe deux fois sur huit.
- La machine à trois voisins fait voter les trois plus proches. Sur ses exemples, elle « se trompe » trois fois, précisément sur les trois étiquettes erronées, que ses voisins contredisent. Sur le jeu de test, elle réussit les huit plantes.
La machine parfaite sur ses exemples est donc la moins bonne sur les cas nouveaux. C’est la définition même du surapprentissage : apprendre les détails et les erreurs des exemples au point de moins bien généraliser. Le corrigé, plus bas, donne les réponses des deux machines pour chaque plante.
Enjeux
Le surapprentissage est l’un des pièges les plus fréquents. Un modèle capable de retenir chaque exemple finit par apprendre aussi les défauts des données : erreurs d’étiquetage, coïncidences, détails propres à l’échantillon. Il paraît excellent tant qu’on le mesure sur ses exemples, et déçoit en usage réel. Les grands modèles n’y échappent pas : ils peuvent recopier mot pour mot des textes lus souvent, et obtenir d’excellents résultats à un test dont les questions figuraient dans leurs données d’entraînement.
Les praticiens utilisent souvent trois jeux : entraînement pour apprendre, validation pour choisir entre plusieurs modèles ou réglages, comme le nombre de voisins, et test, utilisé une seule fois à la fin, comme un examen final. Le simple partage en deux suffit en seconde.
La séance 9 montrera une limite de plus : si le jeu de test partage une coïncidence avec le jeu d’entraînement, il ne la démasque pas. Il faut alors des cas choisis pour la mettre en défaut.
Conduite de l’activité
La mesure à la règle prend du temps ; laisser les binômes s’entraider, et autoriser le compas pour les trois voisins, en traçant un cercle autour de la plante jusqu’à ce qu’il contienne trois points. Pendant la mise en commun, partir des plantes A et B : demander quel est leur plus proche voisin, puis s’il est bien étiqueté. Les élèves découvrent eux-mêmes les étiquettes erronées, ce qui vaut mieux que de les annoncer. Terminer en reliant la règle d’or aux pratiques de la classe : un contrôle porte sur des exercices nouveaux, pour la même raison.
Vocabulaire et erreurs fréquentes
Employer : jeu d’entraînement, jeu de test, généraliser, surapprentissage. Le terme anglais overfitting peut être donné aux élèves curieux.
Deux idées reçues reviennent. « Une machine parfaite sur ses exemples est excellente » : la feuille montre le contraire. « Plus le modèle retient de détails, mieux c’est » : retenir les détails, c’est aussi retenir les erreurs.
Version avec ordinateurs
- La feuille reste sur papier : placer et mesurer est la partie la plus importante de la séance.
- Pour l’étape « La règle d’or », les binômes ouvrent ia-snt.edulatex.fr/demos, deuxième démonstration (« Apprendre par l’exemple »).
- Chaque élève dessine sur papier cinq ronds et cinq croix : ce sera le jeu de test. Il les reproduit ensuite un par un dans la démonstration et compte les réponses justes.
- Il apprend ensuite ces dix dessins à la machine, puis les redessine : elle réussit presque tout. Expliquer pourquoi ce second score ne prouve rien.
Apprendre par l’exemple
Cette machine a vu 8 ronds et 8 croix dessinés à la main. Dessinez une forme dans le cadre : elle cherche, parmi ses exemples, les trois qui ressemblent le plus à votre dessin.
Votre dessin
Ce que voit la machine
Une grille de 16 × 16 cases plus ou moins noircies. Elle ne voit ni lignes ni formes.
Sa réponse
Dessinez une forme : sa réponse s’affiche ici.
Tout ce qu’elle a vu : 16 exemples
Version sans ordinateur
Le déroulé ordinaire se fait déjà sans ordinateur.
Matériel
- La feuille des élèves, une par binôme.
- Une règle graduée par binôme ; un compas aide pour les trois voisins.
Consignes
- Ne pas révéler d’emblée quelles étiquettes sont fausses : les élèves les découvrent en cherchant pourquoi la machine à un voisin se trompe.
- Au tableau, dresser un tableau des scores à deux lignes, une par machine, et deux colonnes : sur ses exemples, sur le test.
- Pour rendre la règle d’or concrète, la relier à une pratique de la classe : les évaluations portent sur des exercices nouveaux, pas sur ceux déjà corrigés.
Corrigé de la feuille
Les pointillés relient chaque nouveau cas à ses trois plus proches voisins.
| Message | Un voisin | Trois voisins | En réalité |
|---|---|---|---|
| A (9 ; 3) | En bonne santé, erreur | Malade | Malade |
| B (10 ; 4) | En bonne santé, erreur | Malade | Malade |
| C (2 ; 2) | En bonne santé | En bonne santé | En bonne santé |
| D (1 ; 1) | En bonne santé | En bonne santé | En bonne santé |
| E (4 ; 2) | En bonne santé | En bonne santé | En bonne santé |
| F (5 ; 6) | Malade | Malade | Malade |
| G (4 ; 8) | Malade | Malade | Malade |
| H (2 ; 9) | Malade | Malade | Malade |
« Erreur » signale une réponse de la machine qui diffère de la réalité.
Trace écrite
Pour évaluer une machine qui apprend, on met de côté une partie des exemples avant l’entraînement : le jeu de test. On ne s’en sert que pour mesurer ses réussites sur des cas qu’elle n’a jamais vus.
Une machine peut réussir parfaitement ses exemples d’entraînement sans savoir généraliser : elle a appris par cœur leurs détails, y compris leurs erreurs. C’est le surapprentissage.
Un bon modèle est celui qui réussit le mieux sur le jeu de test, pas sur ses propres exemples.
Vérification
À projeter ou à lire en fin de séance. La réponse s’affiche en cliquant sur « Réponse ».
-
Pourquoi évalue-t-on une machine sur un jeu de test plutôt que sur ses exemples d’entraînement ?
- AParce que le jeu de test est plus grand.
- BParce qu’elle connaît ses exemples par cœur : seuls des cas nouveaux montrent si elle sait généraliser.
- CParce que les exemples d’entraînement sont effacés après l’apprentissage.
Réponse
B. Comme l’élève qui a appris les corrigés, la machine peut réussir ses exemples sans avoir compris. Le jeu de test joue le rôle des exercices nouveaux.
-
La machine à un voisin réussit tous ses exemples d’entraînement. Pourquoi ce score ne prouve-t-il rien ?
- AParce que chaque exemple est son propre plus proche voisin : elle recopie simplement son étiquette.
- BParce que le calcul est faux.
- CParce qu’elle a eu de la chance.
Réponse
A. La distance d’un exemple à lui-même est nulle. La machine retrouve donc toujours son étiquette, même quand elle est fausse.
-
Qu’est-ce que le surapprentissage ?
- AApprendre trop longtemps, jusqu’à s’épuiser.
- BApprendre les détails et les erreurs des exemples au point de moins bien réussir sur des cas nouveaux.
- CApprendre avec trop d’exemples.
Réponse
B. La machine à un voisin a appris les étiquettes erronées par cœur. Elle les applique aux plantes voisines du test et se trompe.
-
Quelle machine choisir pour juger de nouvelles plantes ?
- ACelle à un voisin, parfaite sur ses exemples.
- BCelle à trois voisins, meilleure sur le jeu de test.
- CPeu importe, elles se valent.
Réponse
B. Ce qui compte, ce sont les plantes à venir. La machine à trois voisins réussit les huit plantes du test, l’autre en manque deux.
Questions difficiles
Questions d’élèves embarrassantes, avec une réponse possible.
Pourquoi ne pas tester sur les exemples, puisqu’on connaît leur réponse ?
Parce qu’on mesurerait la mémoire de la machine, pas sa capacité à généraliser. C’est l’erreur la plus fréquente en apprentissage automatique, et elle conduit à croire un modèle bien meilleur qu’il n’est.
On perd des exemples en en mettant de côté ?
Oui, c’est le prix à payer. On garde souvent un exemple sur cinq pour le test. Une fois le modèle choisi, on peut le réentraîner sur tous les exemples, mais on ne peut plus alors mesurer sa qualité avec ce même jeu de test.
Si on a testé plein de modèles sur le même jeu de test, il est encore fiable ?
De moins en moins : à force de choisir le modèle qui réussit le mieux ce test-là, on finit par s’adapter à lui. Les spécialistes gardent donc un troisième jeu, utilisé une seule fois à la fin, comme un examen final.
Les grands modèles de langage font du surapprentissage ?
Parfois : ils peuvent recopier mot pour mot des passages lus très souvent. Et un modèle peut paraître brillant sur un test dont les questions figuraient dans ses données d’entraînement ; on parle alors de contamination du test.