Les données
ObjectifComprendre d’où viennent les données d’entraînement et pourquoi les étiqueter est un choix.
Déroulé
- 5 min
Accroche
Rappeler la séance 2 : pour apprendre, une machine a besoin d’exemples dont on connaît la réponse. Demander : qui donne la réponse ? D’où viennent ces millions d’exemples ? Relever les hypothèses au tableau.
- 10 min
Étiqueter seul
Chaque élève reçoit la planche des douze cartes et, sans en parler, écrit sur sa feuille, pour chaque carte, « sandwich » ou « pas sandwich ». Il ne peut ni donner une troisième réponse ni poser de question.
- 10 min
Mesurer l’accord
À main levée, carte par carte, compter les « sandwich ». Noter au tableau les cartes unanimes et celles qui divisent la classe. Faire constater qu’une même donnée reçoit des étiquettes différentes selon les personnes, sans que personne ait tort.
- 12 min
Écrire une consigne d’étiquetage
Groupes de trois ou quatre. Rôles : une personne rédige, une teste sur les cartes, une présentera. Chaque groupe écrit en trois lignes au plus une définition de « sandwich » qui permette de trancher toutes les cartes. Deux groupes lisent leur consigne ; la classe en choisit une et réétiquette les cartes litigieuses. L’accord augmente-t-il ?
- 8 min
Étiquetage des vraies données
Présenter le travail d’étiquetage réel : la base ImageNet, étiquetée par des dizaines de milliers de personnes payées à la tâche ; les travailleurs kényans payés moins de deux dollars de l’heure pour repérer des textes violents destinés à entraîner un assistant. Faire dire ce que ces étiquettes transmettent à la machine : les choix, et parfois les erreurs, de ceux qui les posent.
- 5 min
Trace écrite
Projeter la trace écrite, la faire recopier ou distribuer la version imprimée.
- 5 min
Vérification
Lire les quatre questions. Les élèves notent la lettre de leur réponse, puis la correction suit aussitôt.
Savoir professeur
Les connaissances utiles pour faire la séance. Environ dix minutes de lecture.
Place de la séance
La séance 2 a montré qu’une machine peut apprendre à partir d’exemples dont on connaît la réponse. Celle-ci ouvre la partie consacrée aux données en posant trois questions : qu’est-ce qu’une donnée, d’où viennent-elles, et qui fournit les réponses ?
Description d’une donnée
Une donnée d’entraînement est un exemple. On la décrit par des caractéristiques, ce que la machine peut mesurer : les cases noircies d’un dessin, le nombre de liens d’un message, la couleur et la fermeté d’un fruit. On lui associe une étiquette, la réponse attendue : « rond », « indésirable », « mûr ». L’ensemble des exemples forme un jeu de données, souvent présenté comme un tableau, une ligne par exemple, une colonne par caractéristique, et une dernière colonne pour l’étiquette.
Les séances suivantes manipuleront de tels tableaux. Celle-ci s’intéresse à la dernière colonne, l’étiquette, qui décide de ce que la machine apprendra.
Origine des données
Les grandes bases de données ont plusieurs origines, souvent mêlées.
- Le web : textes, images et vidéos publiés en ligne, récupérés en masse par des programmes. Les modèles de langage sont entraînés ainsi.
- Les capteurs : caméras, microphones, appareils de mesure, téléphones.
- Les traces des utilisateurs : clics, recherches, mentions j’aime, signalements. En signalant un message comme indésirable, on fournit une étiquette.
- Le travail humain d’étiquetage, qu’il faut rendre visible. ImageNet, la base de photos qui a relancé l’IA en 2012, a été étiquetée par des dizaines de milliers de personnes payées à la tâche sur une plateforme en ligne. En 2023, une enquête du magazine Time a révélé que des travailleurs kényans, employés par un sous-traitant, étaient payés moins de deux dollars de l’heure pour repérer des textes violents ou choquants, afin d’apprendre à un assistant à les éviter.
Étiquetage et désaccords
L’activité du sandwich paraît légère, mais elle pose un problème central. Certaines cartes font l’unanimité, comme le jambon-beurre ou le sushi. D’autres divisent la classe : le hot-dog, le wrap, la tartine, le biscuit fourré. Personne n’a tort, car la catégorie « sandwich » n’a pas de frontière précise.
Les professionnels mesurent ce phénomène par l’accord entre annotateurs : on fait étiqueter les mêmes données par plusieurs personnes et l’on compte la part de réponses identiques. Pour l’améliorer, ils rédigent une consigne d’étiquetage, parfois longue de plusieurs dizaines de pages. C’est exactement ce que font les groupes. La consigne augmente l’accord, mais ne le rend jamais parfait, et elle contient elle-même des choix : définir un sandwich par « deux morceaux de pain », c’est exclure la tartine.
Dans les vraies applications, les catégories sont bien plus délicates : « contenu haineux », « image choquante », « tumeur maligne », « candidat prometteur ». Les désaccords y ont des conséquences, et ils passent dans la machine : elle apprend les étiquettes telles qu’elles sont, avec les choix et les erreurs des personnes qui les ont posées. La séance 21 montrera comment des données déséquilibrées produisent des biais.
Conduite de l’activité
Le travail individuel du début est indispensable : en groupe, les élèves se mettent vite d’accord et le désaccord disparaît. Le décompte à main levée suffit ; noter au tableau, pour chaque carte, le nombre de « sandwich » sur le nombre d’élèves. Avec une classe de trente, une carte est en général considérée comme litigieuse si elle obtient entre dix et vingt voix.
Pendant l’écriture des consignes, exiger qu’une définition puisse être appliquée par quelqu’un qui ne connaît pas le mot : c’est le cas d’une personne qui étiquette des images dans une langue qui n’est pas la sienne.
Suite de l’année
La consigne écrite par la classe peut être gardée et réutilisée : la séance 9 montrera qu’un jeu d’exemples peut contenir une coïncidence que personne n’a voulue, la séance 21 qu’un déséquilibre dans les données produit un biais. Dans les deux cas, la question posée aujourd’hui revient : qui a choisi ces exemples, et qui leur a donné leur réponse ? Il est utile de noter au tableau, à la fin, les trois sources de choix humains rencontrées : ce qu’on collecte, comment on le décrit, comment on l’étiquette.
Vocabulaire et erreurs fréquentes
Employer : donnée, caractéristique, étiquette, jeu de données, consigne d’étiquetage, accord entre annotateurs.
Trois idées reçues reviennent. « Les données sont objectives » : elles portent les choix de ceux qui les collectent et les étiquettent. « La machine se débrouille seule » : derrière les grandes bases, il y a un immense travail humain. « Il suffit d’avoir plus de données » : une machine apprend mal avec des données mal étiquetées, même nombreuses.
Version avec ordinateurs
- L’étiquetage et la consigne restent sur papier : le désaccord entre élèves est la partie la plus importante de la séance.
- Pour la mesure de l’accord, les élèves peuvent répondre dans un questionnaire en ligne de l’établissement, sans compte personnel : le pourcentage de « sandwich » par carte s’affiche alors directement.
- Pendant l’étape « Étiquetage des vraies données », projeter la page d’ImageNet ou l’article sur les travailleurs kényans, depuis le poste du professeur.
Version sans ordinateur
Le déroulé ordinaire se fait déjà sans ordinateur ; le décompte se fait à main levée.
Matériel
- Les douze cartes, une planche par élève, non découpée.
- Une feuille par élève pour ses étiquettes, puis une par groupe pour la consigne.
Consignes
- Insister sur le travail individuel au début : sans lui, les élèves s’alignent sur leur voisin et le désaccord disparaît.
- Pendant le décompte, ne jamais dire quelle est la bonne réponse : il n’y en a pas. Ce qui compte, c’est le taux d’accord.
- Pour la consigne d’étiquetage, refuser les définitions qui renvoient à l’intuition (« ce qu’on appelle un sandwich ») : elles doivent pouvoir être appliquées par quelqu’un qui n’a jamais vu de sandwich.
Corrigé des cartes
- Le jambon-beurre Presque toujours « sandwich » : c’est la carte de référence.
- Le hamburger Souvent « sandwich », mais certains le rangent à part, comme un plat.
- Le hot-dog Carte qui divise : le pain n’est pas coupé en deux morceaux.
- Le croque-monsieur Souvent « sandwich », parfois « plat chaud ».
- Le wrap Divise beaucoup : il n’y a pas de pain, mais une garniture enveloppée.
- La pizza pliée Le plus souvent « pas sandwich », mais la forme pliée fait hésiter.
- Le pain au chocolat Presque toujours « pas sandwich » : c’est une viennoiserie.
- La tartine Divise : une seule tranche suffit-elle ? Dans certains pays, on appelle pourtant sandwichs ces tartines ouvertes.
- Le panini Presque toujours « sandwich ».
- Le sushi Presque toujours « pas sandwich », malgré la superposition.
- Le kebab Souvent « sandwich », parfois rangé à part.
- Le biscuit fourré Divise : la forme est celle d’un sandwich, mais on ne le mange pas comme un sandwich.
Trace écrite
Une donnée d’entraînement est un exemple, décrit par des caractéristiques, accompagné de son étiquette, la réponse attendue. Les données viennent du web, de capteurs, des traces laissées par les utilisateurs, et de personnes payées pour les produire ou les étiqueter.
Étiqueter, c’est faire un choix. Deux personnes n’étiquettent pas toujours de la même façon ; une consigne d’étiquetage précise augmente l’accord, sans le rendre parfait.
La machine apprend ce que disent les étiquettes, avec les choix et les erreurs des humains qui les ont posées.
Vérification
À projeter ou à lire en fin de séance. La réponse s’affiche en cliquant sur « Réponse ».
-
Qu’est-ce qu’une étiquette, dans une donnée d’entraînement ?
- ALe prix de la donnée.
- BLa réponse attendue, donnée par un humain ou tirée d’une source, que la machine doit apprendre à reproduire.
- CLe nom du fichier.
Réponse
B. Pour une photo, l’étiquette peut être « chat » ou « pas chat ». C’est elle qui dit à la machine ce qu’elle doit apprendre.
-
Pourquoi la classe n’était-elle pas d’accord sur le hot-dog ?
- AParce que certains élèves se sont trompés.
- BParce que la catégorie « sandwich » n’a pas de limite précise, et que chacun en fixe la limite à sa façon.
- CParce que la carte était mal écrite.
Réponse
B. Il n’y a pas de bonne réponse sans définition commune. Les vraies catégories, comme « contenu violent » ou « tumeur », posent le même problème, avec des enjeux plus graves.
-
À quoi sert une consigne d’étiquetage ?
- AÀ rendre les étiquettes plus cohérentes d’une personne à l’autre.
- BÀ supprimer toute erreur.
- CÀ aller plus vite.
Réponse
A. Une définition partagée augmente l’accord entre les personnes qui étiquettent. Elle ne le rend jamais parfait, et elle porte elle-même des choix.
-
Qui étiquette les grandes bases de données qui servent à entraîner les IA ?
- ALes machines elles-mêmes, toutes seules.
- BUniquement des chercheurs.
- CEn grande partie des personnes payées à la tâche, souvent peu rémunérées, et parfois les utilisateurs eux-mêmes.
Réponse
C. ImageNet a été étiquetée par des dizaines de milliers de personnes payées à la tâche. Les utilisateurs étiquettent aussi sans le savoir, par exemple en signalant un message comme indésirable.
Questions difficiles
Questions d’élèves embarrassantes, avec une réponse possible.
Mais alors, c’est quoi la vraie réponse pour le hot-dog ?
Il n’y en a pas : tout dépend de la définition choisie. C’est la leçon de la séance. Une machine entraînée avec des étiquettes « hot-dog = sandwich » le reconnaîtra comme tel, une autre non, et aucune n’aura tort.
Pourquoi ne pas laisser la machine étiqueter toute seule ?
Parce qu’il faudrait qu’elle sache déjà ce qu’on veut lui apprendre. On utilise parfois une machine pour proposer des étiquettes, qu’un humain vérifie ; mais au départ, il faut des réponses humaines.
Moi aussi, j’étiquette des données ?
Souvent, sans le savoir : en signalant un message indésirable, en mettant une mention j’aime, en cochant les images qui contiennent des feux tricolores pour prouver qu’on n’est pas un robot. Ces gestes servent parfois à entraîner des systèmes.
Les personnes qui étiquettent sont-elles bien payées ?
Souvent non. Une enquête du magazine Time a révélé en 2023 que des travailleurs au Kenya, chargés de repérer des textes violents ou choquants pour entraîner un assistant, étaient payés moins de deux dollars de l’heure. Ce travail invisible est une réalité de l’IA, abordée de nouveau à la séance 28.