Le sens des mots en nombres
ObjectifComprendre qu’un modèle représente chaque mot par des nombres, comme une position sur une carte.
Déroulé
- 5 min
Accroche
Demander : quel mot est le plus proche de « chaton » ? « chat », « chiot » ou « lionceau » ? Laisser débattre une minute. Faire remarquer qu’il y a plusieurs façons d’être proche : par l’espèce, par l’âge. Annoncer qu’une machine range les mots sur une carte, et qu’on va en construire une.
- 15 min
La carte des mots
Groupes de trois ou quatre. Chaque groupe reçoit les dix cartes de mots et une grande feuille. Il pose les cartes sur la feuille de sorte que les mots qui se ressemblent soient proches, puis trace deux axes et leur donne un nom. Rôles : une personne place les cartes, une autre discute ses choix, une troisième les note.
- 8 min
Comparer les cartes
Faire circuler ou photographier trois cartes. Relever les axes choisis : domestique ou sauvage, petit ou adulte, taille, lieu de vie. Faire constater que tous les groupes ont mis le chaton près du chat et du chiot, mais pas de la même façon.
- 12 min
Calculer avec les mots
Distribuer la fiche des positions, choisie par le professeur : axe horizontal de domestique à sauvage, axe vertical de petit à adulte. Faire calculer : pour passer de « chien » à « chiot », de combien bouge-t-on ? Appliquer le même déplacement à « lion » : sur quel mot tombe-t-on ? Recommencer avec « vache » et « loup ». Rôles : l’un calcule, l’autre vérifie sur la grille.
- 5 min
Des cartes à des centaines d’axes
Expliquer que les vrais modèles placent chaque mot, ou chaque jeton, avec des centaines ou des milliers de nombres, appris automatiquement en observant quels mots apparaissent ensemble. Présenter l’exemple célèbre de 2013 : roi moins homme plus femme donne une position proche de reine. Puis la limite : la même méthode a placé « programmeur » plus près d'« homme » et « ménagère » plus près de « femme ».
- 5 min
Trace écrite
Projeter la trace écrite, la faire recopier ou distribuer la version imprimée.
- 5 min
Vérification
Lire les quatre questions. Les élèves notent la lettre de leur réponse, puis la correction suit aussitôt.
Savoir professeur
Les connaissances utiles pour faire la séance. Environ dix minutes de lecture.
Place de la séance
Un ordinateur ne calcule qu’avec des nombres. À la séance 13, le texte a été découpé en jetons ; il faut maintenant transformer chaque jeton en nombres, de façon que les calculs du modèle aient un sens. La solution consiste à donner à chaque jeton une position sur une carte, décrite par une liste de nombres, ses coordonnées. On parle de plongement, ou d’embedding en anglais.
Carte de la séance
La fiche des positions donne une carte à deux axes, choisie pour être lisible : l’axe horizontal va de domestique à sauvage, l’axe vertical de petit à adulte. Chaque animal adulte est en haut, son petit en bas, à la même abscisse. Les élèves ont d’abord construit leurs propres cartes : tous mettent le chaton près du chat et du chiot, mais avec des axes différents, ce qui montre qu’il n’existe pas une seule bonne carte.
Le calcul est la partie la plus importante de la séance. Pour aller de chien (2 ; 8) à chiot (2 ; 2), on descend de 6 sur l’axe vertical. Appliqué à lion (9 ; 8), ce déplacement mène en (9 ; 2), la position de lionceau ; appliqué à vache, il mène à veau, et à loup, à louveteau. De chat à lion, on avance de 8 vers la droite ; appliqué à chaton, on tombe sur lionceau. Un déplacement sur la carte correspond donc à une relation de sens : « devenir le petit de », « devenir la version sauvage de ».
Plongements des modèles réels
Les modèles réels font la même chose avec des centaines ou des milliers d’axes. Et surtout, personne ne place les mots : les positions sont apprises à partir des textes. Le principe a été énoncé par des linguistes dès les années 1950 : on reconnaît un mot aux mots qui l’entourent. Deux mots qui apparaissent dans des contextes semblables, « je nourris mon chat », « je nourris mon chien », reçoivent des positions semblables.
En 2013, une équipe de Google a présenté une méthode rapide pour apprendre ces positions, appelée word2vec, et un résultat devenu célèbre : en calculant la position de « roi », moins celle d’« homme », plus celle de « femme », on tombe près de « reine ». Les relations de sens deviennent des déplacements, comme sur la fiche.
Dans les grands modèles de langage, chaque jeton reçoit ainsi une position de départ, que les couches du réseau transforment ensuite en tenant compte des mots voisins : « avocat » n’a pas la même position dans « l’avocat plaide » et dans « l’avocat est mûr ».
Stéréotypes
La carte apprend toutes les associations présentes dans les textes, y compris les stéréotypes. En 2016, des chercheurs ont montré qu’avec les positions apprises sur des articles de presse, le calcul « programmeur moins homme plus femme » menait près de « ménagère ». La machine n’a aucune opinion ; elle reproduit les régularités des textes humains, ce que la séance 21 étudiera avec les biais. Les mêmes chercheurs ont proposé des méthodes pour corriger ces positions, qui atténuent le problème sans le faire disparaître.
Suite de la partie
Les positions des mots servent dans toute la suite de la partie. La séance 15 montrera comment un modèle déjà entraîné est réglé pour devenir un assistant . La séance 16 montrera pourquoi un modèle peut produire une phrase fausse qui ressemble à des phrases vraies. Retenir dès maintenant que le modèle manipule des positions et des proximités, et non des définitions ou des faits vérifiés, aide les élèves à comprendre ses forces comme ses erreurs.
Conduite de l’activité
La construction libre de la carte est essentielle : sans elle, la fiche paraît arbitraire. Laisser les groupes discuter, contester, recommencer. Pendant le calcul, faire écrire le déplacement avant de l’appliquer. Les élèves qui connaissent les vecteurs en mathématiques reconnaîtront une translation ; ce rapprochement n’est pas nécessaire pour les autres.
Vocabulaire et erreurs fréquentes
Employer : plongement, position, coordonnées, distance, déplacement. Le mot vecteur peut être employé avec les élèves qui le connaissent en mathématiques.
Deux idées reçues reviennent. « Le modèle connaît la définition des mots » : il connaît leurs positions, apprises de leurs contextes. « Les axes ont un sens clair » : dans un vrai modèle, presque jamais.
Version avec ordinateurs
- La carte des mots et le calcul se font sur papier.
- Pour l’étape « Des cartes à des centaines d’axes », le professeur projette depuis son poste la page publique Embedding Projector de TensorFlow, qui montre en trois dimensions la carte de milliers de mots anglais apprise par un modèle.
- Y chercher un mot, par exemple « cat », et lire la liste de ses voisins les plus proches. Faire dire ce qu’ils ont en commun.
Version sans ordinateur
Le déroulé ordinaire se fait déjà sans ordinateur ; les exemples de 2013 et de 2016 se racontent à l’oral.
Matériel
- Les dix cartes de mots, une planche par groupe, découpées.
- Une grande feuille par groupe pour la carte.
- La fiche des positions, une par binôme.
Consignes
- Ne pas donner d’axes au départ : chaque groupe doit inventer les siens, c’est ce qui rend la comparaison intéressante.
- Pour le calcul, faire écrire le déplacement sous la forme « horizontal 0, vertical −6 » avant de l’appliquer.
- Pendant l’étape sur les vrais modèles, souligner que leurs axes n’ont pas de nom : on ne sait pas ce que chacun représente.
Dossier documentaire (deux fiches)
Fiche des positions
Axe horizontal, de 0 (domestique) à 10 (sauvage). Axe vertical, de 0 (petit) à 10 (adulte). chat (1 ; 8), chaton (1 ; 2), chien (2 ; 8), chiot (2 ; 2), vache (3 ; 8), veau (3 ; 2), loup (8 ; 8), louveteau (8 ; 2), lion (9 ; 8), lionceau (9 ; 2).
Les calculs à faire
1. De combien bouge-t-on pour aller de chien à chiot ? 2. Appliquer ce déplacement à lion : sur quel mot tombe-t-on ? 3. Même question pour vache, puis pour loup. 4. De combien bouge-t-on pour aller de chat à lion ? Appliquer ce déplacement à chaton : sur quel mot tombe-t-on ?
Trace écrite
Un modèle de langage représente chaque jeton par une longue liste de nombres, comme une position sur une carte à des centaines ou des milliers d’axes. Les mots de sens voisin y sont proches.
Ces positions ne sont écrites par personne : elles sont apprises en observant quels mots apparaissent dans les mêmes contextes. Un déplacement sur la carte peut correspondre à une relation de sens, comme passer de l’adulte au petit.
La carte reproduit aussi les associations présentes dans les textes, y compris les stéréotypes.
Vérification
À projeter ou à lire en fin de séance. La réponse s’affiche en cliquant sur « Réponse ».
-
Comment un modèle de langage représente-t-il un mot ?
- APar sa définition du dictionnaire.
- BPar une liste de nombres, une position sur une carte où les mots voisins par le sens sont proches.
- CPar une image.
Réponse
B. Chaque jeton reçoit des centaines de nombres. On parle de plongement, ou d’embedding en anglais.
-
Sur la fiche, chien est en (2 ; 8) et chiot en (2 ; 2). Où tombe-t-on en appliquant le même déplacement à lion, en (9 ; 8) ?
- AEn (9 ; 2), sur lionceau.
- BEn (2 ; 2), sur chiot.
- CEn (9 ; 8), sur lion.
Réponse
A. De chien à chiot, on descend de 6 sur l’axe vertical. Appliqué à lion, cela donne (9 ; 2), la position de lionceau.
-
Comment les vrais modèles trouvent-ils la position des mots ?
- ADes linguistes les placent à la main.
- BElles sont apprises en observant quels mots apparaissent dans les mêmes phrases.
- CElles sont tirées au hasard une fois pour toutes.
Réponse
B. Deux mots qui s’emploient dans des contextes semblables, comme « chat » et « chien », finissent proches. Personne ne choisit les axes.
-
Pourquoi la carte d’un modèle peut-elle contenir des stéréotypes ?
- AParce que les machines ont des préjugés.
- BParce qu’elle est apprise sur des textes humains, qui associent plus souvent certains mots à certains groupes.
- CParce que ses concepteurs l’ont voulu.
Réponse
B. Si les textes associent souvent « programmeur » à « homme », la carte place ces mots près l’un de l’autre. La séance 21 étudiera ce mécanisme, celui des biais.
Questions difficiles
Questions d’élèves embarrassantes, avec une réponse possible.
Comment la machine sait-elle que chat et chien sont proches, si personne ne lui dit ?
Elle observe les mots qui les entourent : on écrit « je nourris mon chat » comme « je nourris mon chien ». Deux mots qui apparaissent dans des contextes semblables reçoivent des positions semblables. C’est l’idée, formulée par des linguistes dans les années 1950, qu’on reconnaît un mot aux mots qui l’entourent.
Mille axes, on ne peut pas se le représenter !
Non, et personne ne le peut. Mais les calculs sont les mêmes qu’avec deux axes : une distance, un déplacement. Pour visualiser, on réduit la carte à deux ou trois dimensions, en perdant une partie de l’information, comme le fait la page projetée.
Les axes veulent dire quelque chose, comme domestique et sauvage ?
Rarement de façon claire. Sur la fiche, les axes ont été choisis par le professeur pour être lisibles. Dans un vrai modèle, chaque axe mêle de nombreuses nuances, et des chercheurs travaillent justement à comprendre ce qu’ils représentent.
Ça sert à quoi, à part les assistants ?
À la recherche par le sens : retrouver des documents proches d’une question même s’ils n’emploient pas les mêmes mots, recommander des articles semblables, traduire. C’est la méthode des plus proches voisins de la séance 5, appliquée à des positions de mots ou de textes.