Jetons et vocabulaire
ObjectifDécouvrir qu’un modèle de langage découpe les textes en morceaux de mots, et ce que cela change.
Déroulé
- 5 min
Accroche
Écrire au tableau « anticonstitutionnellement » et demander combien de morceaux une machine y voit. Recueillir les réponses : un mot, vingt-cinq lettres ? Annoncer qu’elle y voit autre chose, des jetons, et qu’on va découper comme elle.
- 15 min
Découper comme la machine
Binômes. Chaque binôme reçoit la fiche du vocabulaire de la machine et la liste des mots à découper. Règle : de gauche à droite, prendre à chaque fois le plus long morceau du vocabulaire qui commence le reste du mot ; si aucun ne convient, prendre une seule lettre. Noter le découpage et compter les jetons de chaque mot. Rôles : l’un cherche dans le vocabulaire, l’autre écrit et vérifie.
- 8 min
Mise en commun
Corriger au tableau. Faire constater : les mots fréquents tiennent en un jeton, les mots rares ou inventés en demandent beaucoup ; « zèbre », absent du vocabulaire, se découpe presque lettre par lettre. Demander combien de lettres r contient « répondre » pour la machine : elle ne voit que trois jetons, jamais les lettres.
- 12 min
Les langues ne sont pas égales
Projeter ou recopier le tableau de la fiche 3 : la même phrase compte 8 jetons en anglais et 24 en grec avec le découpage d’un modèle de 2023. Faire calculer combien de fois plus de jetons il faut en grec. Faire dire les conséquences : une conversation plus chère, une mémoire du modèle plus vite remplie, souvent des réponses moins bonnes. Puis montrer la seconde ligne, le découpage de 2024, qui réduit l’écart sans le supprimer.
- 5 min
Les lettres invisibles
Montrer que le mot « arbre » devient deux jetons, « ar » et « bre » : la machine ne voit pas ses lettres. Annoncer que cela expliquera une erreur rencontrée à la séance 16 : un assistant qui compte mal les lettres r d'« arbre ». Annoncer la séance 14 : comment ces jetons deviennent des nombres.
- 5 min
Trace écrite
Projeter la trace écrite, la faire recopier ou distribuer la version imprimée.
- 5 min
Vérification
Lire les quatre questions. Les élèves notent la lettre de leur réponse, puis la correction suit aussitôt.
Savoir professeur
Les connaissances utiles pour faire la séance. Environ dix minutes de lecture.
Place de la séance
À la séance 12, le modèle au dé manipulait des mots entiers. Les vrais modèles de langage travaillent avec des jetons : des morceaux de texte tirés d’un vocabulaire fixe, de l’ordre de cent mille à deux cent mille éléments. Un mot fréquent, comme « Bonjour », est souvent un seul jeton ; un mot plus rare est découpé en plusieurs morceaux. Le texte de la question est découpé en jetons, le modèle prédit le jeton suivant, et les jetons de la réponse sont réassemblés en texte.
Construction du vocabulaire
Le vocabulaire est fabriqué avant l’entraînement par un algorithme simple, appelé en anglais byte pair encoding. On part des lettres, puis on fusionne pas à pas les deux morceaux qui se suivent le plus souvent dans un grand corpus de textes : « e » et « n » donnent « en », puis « en » et « t » donnent « ent », et ainsi de suite, jusqu’à la taille voulue. Les suites de lettres fréquentes deviennent des jetons ; les rares restent en morceaux.
Le découpage de la séance utilise la méthode la plus simple à faire à la main : prendre à chaque fois le plus long morceau du vocabulaire qui commence le reste du mot. Les vrais programmes de découpage procèdent autrement : ils appliquent dans l’ordre les fusions apprises. L’effet est comparable.
Découpage des mots de la séance
Avec la fiche 1, les dix mots se découpent ainsi :
| Mot | Découpage | Jetons |
|---|---|---|
| chats | chat, s | 2 |
| chien | chien | 1 |
| mangeaient | mange, aient | 2 |
| mangeons | mange, ons | 2 |
| répondre | ré, pond, re | 3 |
| intelligence | in, tell, ig, ence | 4 |
| artificielle | art, ific, iel, le | 4 |
| anticonstitutionnellement | anti, con, stit, ution, nel, le, ment | 7 |
| zèbre | z, è, b, re | 4 |
| lesquelles | les, q, u, e, l, les | 6 |
Trois constats en ressortent. Les mots dont les morceaux sont dans le vocabulaire coûtent peu de jetons. Un mot absent, comme « zèbre », se découpe presque lettre par lettre. Et un même morceau, comme « mange », sert à plusieurs mots : le modèle peut ainsi lire des formes qu’il n’a jamais vues entières.
Conséquences
Le coût et la mémoire. Les services d’IA font payer leurs clients professionnels au nombre de jetons lus et écrits, et la mémoire d’un modèle, ce qu’il peut prendre en compte d’une conversation, se mesure en jetons. C’est la fenêtre de contexte.
L’inégalité entre les langues. Le vocabulaire est construit à partir des textes d’entraînement, majoritairement en anglais. Les autres langues, surtout celles qui utilisent un autre alphabet ou sont peu présentes sur le web, sont découpées en morceaux plus petits. La fiche 3 donne des mesures réelles, faites avec deux découpages publics utilisés par des modèles d’OpenAI : la phrase « Le chat dort sur le canapé » demande 8 jetons en anglais et 24 en grec avec le découpage de 2023, trois fois plus ; avec celui de 2024, 12 en grec, encore une fois et demie plus. Une étude de 2023 a mesuré, sur un même texte traduit, des écarts allant jusqu’à quinze fois. Plus de jetons, c’est un coût plus élevé, une mémoire plus vite remplie, et souvent des réponses de moindre qualité.
Les lettres invisibles. Le modèle ne reçoit jamais les lettres séparément. « arbre » lui parvient en deux jetons, « ar » et « bre ». Compter les lettres, épeler à l’envers ou trouver des rimes lui est donc difficile, alors que c’est très facile pour nous. Cela expliquera l’erreur de la carte « arbre » de la séance 16.
Conduite de l’activité
Le découpage à la main est rapide si la règle est bien fixée au départ ; faire « chats » au tableau, puis « répondre ». Pendant la mise en commun, s’arrêter sur « lesquelles », qui surprend : le vocabulaire contient « les » mais pas « quel », d’où une série de lettres isolées. C’est l’occasion de dire que le vocabulaire dépend des textes qui ont servi à le construire.
Vocabulaire et erreurs fréquentes
Employer : jeton, vocabulaire de jetons, découpage, fenêtre de contexte. Le terme anglais token est courant dans les articles.
Deux idées reçues reviennent. « Le modèle lit comme nous, lettre par lettre ou mot par mot » : il lit des morceaux. « Toutes les langues sont traitées de la même façon » : la fiche 3 montre le contraire.
Version avec ordinateurs
- Le découpage à la main avec le petit vocabulaire reste sur papier : il fait comprendre la règle.
- Pour l’étape « Les langues ne sont pas égales », le professeur projette depuis son poste une page publique de découpage en jetons, comme celle que propose OpenAI, et y colle les phrases de la fiche 3 dans plusieurs langues.
- Les élèves proposent ensuite leurs propres phrases, dans les langues qu’ils parlent, et l’on compare les nombres de jetons. Aucune phrase personnelle ne doit être saisie.
Version sans ordinateur
Le déroulé ordinaire se fait déjà sans ordinateur : les nombres de jetons réels sont donnés par la fiche 3.
Matériel
- La fiche du vocabulaire de la machine et la liste des mots à découper, une par binôme.
- La fiche 3, sur les langues, à projeter ou à recopier au tableau.
Consignes
- Faire un premier découpage collectif, « chats », pour fixer la règle : on prend « chat », le plus long morceau qui convient, puis « s ».
- Insister sur « le plus long morceau » : c’est ce qui fait passer « répondre » en trois jetons, et non en huit lettres.
- Pour les langues, valoriser les élèves qui parlent une autre langue : leur demander si les jetons en grec leur paraissent correspondre à des morceaux qui ont un sens.
Dossier documentaire (trois fiches)
Fiche 1. Le vocabulaire de la machine
le, la, les, chat, chien, s, mange, aient, ons, ré, pond, re, in, tell, ig, ence, art, ific, iel, ment, anti, con, stit, ution, nel, et chacune des lettres de l’alphabet, avec ou sans accent. Règle : de gauche à droite, prendre le plus long morceau du vocabulaire qui commence le reste du mot ; à défaut, une seule lettre.
Fiche 2. Les mots à découper
chats, chien, mangeaient, mangeons, répondre, intelligence, artificielle, anticonstitutionnellement, zèbre, lesquelles. Pour chaque mot, écrire les jetons séparés par des barres et leur nombre.
Fiche 3. Une phrase, plusieurs langues
Nombre de jetons de la même phrase, « Le chat dort sur le canapé », avec deux découpages publics utilisés par des modèles d’OpenAI. Découpage de 2023 : anglais 8, français 9, swahili 9, grec 24. Découpage de 2024 : anglais 8, français 7, swahili 7, grec 12. Une étude de 2023 a mesuré, sur un même texte traduit, des écarts allant jusqu’à quinze fois plus de jetons selon la langue.
Trace écrite
Un modèle de langage ne lit pas des lettres ni des mots, mais des jetons : des morceaux de mots tirés d’un vocabulaire fixe, appris à partir des textes d’entraînement. Les mots fréquents tiennent souvent en un jeton, les mots rares en demandent plusieurs.
Le coût d’utilisation d’un modèle et la taille de sa mémoire se comptent en jetons. Une même phrase demande plus de jetons dans les langues peu présentes dans les textes d’entraînement, qui sont ainsi désavantagées.
Comme le modèle ne voit pas les lettres, il peut se tromper sur des tâches simples pour nous, comme compter les lettres d’un mot.
Vérification
À projeter ou à lire en fin de séance. La réponse s’affiche en cliquant sur « Réponse ».
-
Qu’est-ce qu’un jeton pour un modèle de langage ?
- AUne pièce qu’on paie pour poser une question.
- BUn morceau de mot tiré du vocabulaire fixe du modèle.
- CUne lettre.
Réponse
B. Le texte est découpé en morceaux du vocabulaire, souvent des mots entiers pour les mots fréquents, des fragments pour les autres.
-
Avec le vocabulaire de la séance, combien de jetons pour « mangeaient » ?
- ADeux : « mange » et « aient ».
- BDix, un par lettre.
- CUn seul.
Réponse
A. On prend le plus long morceau qui commence le mot, « mange », puis le plus long qui commence le reste, « aient ».
-
Pourquoi la même phrase coûte-t-elle plus de jetons en grec qu’en anglais ?
- AParce que le grec est une langue plus difficile.
- BParce que le vocabulaire de jetons a été construit surtout à partir de textes en anglais, où le grec est rare.
- CParce que les phrases grecques sont plus longues.
Réponse
B. Les morceaux du vocabulaire sont choisis parmi les suites de lettres les plus fréquentes des textes d’entraînement. Une langue rare y est découpée en petits fragments.
-
Pourquoi un assistant peut-il se tromper en comptant les lettres r d'« arbre » ?
- AParce qu’il ne sait pas lire.
- BParce qu’il voit les jetons « ar » et « bre », pas les lettres une à une.
- CParce que le mot est trop court.
Réponse
B. Le modèle ne reçoit jamais les lettres séparées. Il doit deviner leur nombre à partir de ce qu’il a lu sur ces jetons, d’où des erreurs.
Questions difficiles
Questions d’élèves embarrassantes, avec une réponse possible.
Pourquoi ne pas donner les lettres une par une au modèle ?
C’est possible, mais les textes deviendraient très longs : la mémoire du modèle et les calculs se comptent en jetons, et une phrase ferait cinq fois plus de jetons. Les mots entiers poseraient le problème inverse : un vocabulaire immense, et aucun moyen de lire un mot nouveau. Les morceaux de mots sont un compromis.
Qui choisit le vocabulaire de jetons ?
Un algorithme, avant l’entraînement : il part des lettres et fusionne pas à pas les paires de morceaux les plus fréquentes dans les textes, jusqu’à atteindre la taille voulue, souvent cent mille ou deux cent mille jetons. Les choix humains portent sur les textes utilisés et la taille du vocabulaire.
Alors les assistants sont moins bons dans ma langue ?
Souvent, oui, pour les langues peu présentes sur le web : plus de jetons, moins de textes d’entraînement, donc des réponses moins sûres et un coût plus élevé. Les découpages récents réduisent l’écart, comme le montre la fiche 3, sans le supprimer. C’est une question d’égalité d’accès.
Les espaces et la ponctuation comptent ?
Oui. Dans les vrais découpages, l’espace fait souvent partie du jeton suivant, et chaque signe de ponctuation est un jeton. C’est pourquoi « arbre » en début de texte et « arbre » après une espace peuvent donner des jetons différents.