L’heure de l’IA
Progression
Séance 15 · Partie 3. Les modèles de langage · 55 minutes

De l’entraînement à l’assistant

ObjectifComprendre les étapes qui transforment un modèle de langage en assistant conversationnel.

Imprimer le matériel

Déroulé

  1. 5 min

    Accroche

    Écrire au tableau la réponse typique d’un modèle qui vient d’être entraîné sur le web, sans réglage, à la question « Quelle est la capitale de la France ? » : « Quelle est la capitale de l’Espagne ? Quelle est la capitale de l’Italie ? » Demander pourquoi il répond ainsi. Faire le lien avec la séance 12 : il continue le texte le plus probable. Sur le web, une question est souvent suivie d’autres questions, comme dans une fiche d’exercices.

  2. 10 min

    Les trois étapes

    Présenter au tableau les trois étapes. L’entraînement sur le web, qui apprend à prédire le jeton suivant. Le réglage sur des exemples de dialogues, écrits par des personnes, qui lui apprend à répondre comme un assistant. L’apprentissage à partir des préférences humaines : des personnes classent plusieurs réponses, et le modèle est ajusté pour produire celles qu’elles préfèrent.

  3. 15 min

    Jouer les annotateurs

    Groupes de trois ou quatre, une seule question par groupe, avec ses trois cartes de réponses. Le groupe classe les trois réponses de la meilleure à la moins bonne, selon trois critères écrits au tableau : utile, honnête, sans danger. Il note la raison de son classement. Rôles : une personne lit, une argumente, une écrit.

  4. 5 min

    Comparer les classements

    Les groupes qui avaient la même question comparent leurs classements. Relever les désaccords et leurs raisons. Faire remarquer que les assistants apprennent ces préférences humaines, avec leurs accords et leurs hésitations, comme les étiquettes de la séance 4.

  5. 10 min

    Les consignes cachées

    Lire la consigne cachée de la fiche, celle d’un assistant de magasin de vélos, et la question d’un client qui demande un restaurant. Faire prévoir la réponse. Expliquer que chaque assistant reçoit, avant la conversation, des consignes que l’utilisateur ne voit pas. Faire dire ce que cela change : les réponses sont orientées par l’entreprise qui fournit l’assistant.

  6. 5 min

    Trace écrite

    Projeter la trace écrite, la faire recopier ou distribuer la version imprimée.

  7. 5 min

    Vérification

    Lire les quatre questions. Les élèves notent la lettre de leur réponse, puis la correction suit aussitôt.

Savoir professeur

Les connaissances utiles pour faire la séance. Environ dix minutes de lecture.

Place de la séance

Les séances 12 à 14 ont montré qu’un modèle de langage prédit le jeton suivant. Mais un modèle qui ne fait que cela n’est pas un assistant : à la question « Quelle est la capitale de la France ? », il peut répondre par d’autres questions, parce que sur le web une question est souvent suivie d’autres questions, comme dans une fiche d’exercices. Cette séance explique les étapes qui le transforment en assistant, et ce qu’elles impliquent.

Trois étapes

L’entraînement préalable. Le modèle apprend à prédire le jeton suivant sur d’immenses quantités de textes : pages web, livres, articles, code informatique. Cette étape, de loin la plus coûteuse en calcul, lui donne sa connaissance de la langue et une grande quantité d’informations, avec leurs erreurs et leurs stéréotypes.

Le réglage sur des dialogues. Des personnes écrivent des milliers d’exemples de conversations : une demande, puis la réponse qu’un bon assistant devrait donner. Le modèle est entraîné à reproduire cette forme. Il apprend à répondre plutôt qu’à continuer.

L’apprentissage à partir des préférences humaines. Le modèle produit plusieurs réponses à une même demande ; des personnes les classent selon des critères comme utile, honnête et sans danger. À partir de ces classements, le modèle est ajusté pour produire plus souvent les réponses préférées. La méthode a été décrite en 2022 par OpenAI, qui a montré qu’un modèle ainsi réglé était préféré par les évaluateurs à un modèle cent fois plus gros qui ne l’était pas. C’est une récompense, au sens de la séance 11 : le modèle renforce ce qui lui a valu un bon classement.

C’est cette dernière étape que la classe joue. Les douze cartes proposent quatre questions et trois réponses chacune, choisies pour que les critères s’opposent : une réponse dangereuse, une réponse juste mais à côté de la demande, un refus trop large, une erreur assurée, une incertitude honnête. Les classements les plus attendus figurent au corrigé, mais les désaccords comptent davantage : faut-il préférer, pour la Coupe du monde, la réponse précise ou celle qui avoue son doute ? Les annotateurs réels rencontrent les mêmes dilemmes, et leurs choix se retrouvent dans le modèle.

Consignes cachées

Avant chaque conversation, un assistant reçoit un texte que l’utilisateur ne voit pas : la consigne système. Elle fixe son rôle, son ton, ses limites, et parfois la date du jour ou des informations sur l’entreprise. Un même modèle, avec des consignes différentes, devient l’assistant d’un magasin, d’une banque ou d’une plateforme éducative. L’exemple du magasin de vélos le montre : l’assistant déclinera poliment la question sur le restaurant.

Ces consignes ne protègent pas de tout. Des utilisateurs parviennent parfois à les contourner, et un texte lu par l’assistant, par exemple une page web, peut contenir des ordres cachés : c’est l’injection de consigne, un problème de sécurité réel.

Les agents

Un assistant peut recevoir des outils : une recherche sur le Web, une calculatrice, un navigateur, l’envoi de messages, l’exécution de programmes. Il décide alors lui-même quand s’en servir, enchaîne plusieurs actions et agit à la place de l’utilisateur : on parle d’agent. Les avantages sont réels, la calculatrice corrige les erreurs de calcul que montrera la séance 16, la recherche réduit les inventions. Les risques changent de nature : une action est parfois irréversible, un achat ou un message envoyé, et l’injection de consigne devient plus grave quand l’assistant peut agir. C’est pourquoi les concepteurs demandent une confirmation avant les actions importantes et limitent les accès.

Conduite de l’activité

Le classement des réponses suscite souvent des débats animés : les laisser se dérouler, en ramenant toujours aux trois critères. Les élèves découvrent qu’un refus n’est pas toujours la meilleure réponse, et qu’une réponse exacte peut être mauvaise si elle ne répond pas à la demande. Pour la question 4, la réponse A n’est volontairement pas reproduite : la juger suffit, et il n’y a aucune raison de la rédiger. Pour la consigne cachée, faire écrire la réponse prévue par chaque groupe avant toute lecture ; les prévisions sont en général justes, ce qui montre que les élèves ont compris le mécanisme.

Points essentiels

Le comportement d’un assistant, ce qu’il accepte, ce qu’il refuse, son ton et ses priorités, résulte de choix humains : ceux des personnes qui ont écrit les dialogues et classé les réponses, et ceux de l’entreprise qui écrit les consignes. Deux assistants peuvent donc répondre très différemment à la même question. Ni l’un ni l’autre n’est neutre.

Vocabulaire et erreurs fréquentes

Employer : entraînement préalable, réglage, préférences humaines, consigne système, injection de consigne. Le sigle anglais RLHF désigne l’apprentissage à partir des préférences humaines ; il est inutile de l’imposer.

Trois idées reçues reviennent. « Quelqu’un relit les réponses en direct » : non, le modèle a appris des préférences. « L’assistant est neutre » : il est réglé et orienté. « Le modèle sait tout ce qu’il a lu » : il a appris des régularités ; il ne consulte pas une bibliothèque.

Version avec ordinateurs

  1. Le classement des réponses se fait sur papier, comme dans le déroulé.
  2. Pour l’étape « Les consignes cachées », le professeur projette un assistant réel depuis son poste et lui pose, au début d’une nouvelle conversation, la consigne du magasin de vélos, puis la question du client. La classe compare la réponse à ce qu’elle avait prévu.
  3. Dans une autre conversation, le professeur pose la même question sans consigne, et la classe compare les deux réponses.
  4. Les élèves n’utilisent aucun assistant sur leur poste et ne créent aucun compte.

Version sans ordinateur

Le déroulé ordinaire se fait déjà sans ordinateur.

Matériel

  • Les douze cartes de réponses, découpées et rangées en quatre paquets, un par question.
  • La fiche de la consigne cachée, à lire ou à projeter.

Consignes

  1. Distribuer chaque question à au moins deux groupes, pour que la comparaison soit possible.
  2. Pour la question 4, préciser que la réponse A est seulement décrite, sans son contenu : il s’agit de juger qu’un assistant ne doit pas la donner.
  3. Pendant l’étape des consignes cachées, faire écrire la réponse prévue avant de la lire ou de la montrer.
Dossier documentaire (une fiches)

Fiche. Une consigne cachée

Consigne reçue par l’assistant avant la conversation, invisible pour le client : « Tu es l’assistant du magasin Roue Libre, qui vend et répare des vélos. Ne parle que de vélos et des services du magasin. Réponds en deux phrases au plus, avec politesse. » Question du client : « Quel est le meilleur restaurant de la ville ? » Que va répondre l’assistant ?

Imprimer les douze cartes

Corrigé des cartes

  • Question 1, réponse A Classement le plus attendu : B, puis C, puis A. A est dangereuse : dose et rythme inadaptés à un enfant.
  • Question 1, réponse B La meilleure : utile, prudente, et elle renvoie vers un professionnel.
  • Question 1, réponse C Sans danger, mais peu utile : un refus trop large est aussi un défaut.
  • Question 2, réponse A Classement le plus attendu : A, puis C, puis B. A répond exactement à la demande.
  • Question 2, réponse B Exacte, mais à côté de la demande : ce n’est pas un poème.
  • Question 2, réponse C C’est bien un poème, mais très pauvre.
  • Question 3, réponse A Classement le plus attendu : A, puis C, puis B. A est juste et précise.
  • Question 3, réponse B Fausse, avec assurance : c’est la plus mauvaise, malgré son ton.
  • Question 3, réponse C Juste et honnête sur son incertitude, mais moins utile que A. Certains groupes la préfèrent : c’est un vrai débat.
  • Question 4, réponse A Classement le plus attendu : B, puis C, puis A. A aide à commettre une infraction.
  • Question 4, réponse B La meilleure : elle refuse, explique pourquoi et propose une aide légitime.
  • Question 4, réponse C Sans danger, mais sèche et sans explication.

Trace écrite

Un assistant conversationnel est fabriqué en trois étapes. D’abord, un modèle de langage apprend à prédire le jeton suivant sur d’immenses quantités de textes. Ensuite, il est réglé sur des exemples de dialogues écrits par des personnes. Enfin, des personnes classent ses réponses, et il est ajusté pour produire celles qu’elles préfèrent.

Avant chaque conversation, l’assistant reçoit des consignes cachées, rédigées par l’entreprise qui le fournit, qui orientent ses réponses.

Ce que fait un assistant, ce qu’il refuse et sa façon de répondre reflètent donc des choix humains : ceux des personnes qui ont classé ses réponses et de l’entreprise qui écrit ses consignes.

Vérification

À projeter ou à lire en fin de séance. La réponse s’affiche en cliquant sur « Réponse ».

  1. Pourquoi un modèle seulement entraîné sur le web répond-il à une question par d’autres questions ?

    • AParce qu’il est en panne.
    • BParce qu’il continue le texte le plus probable, et que sur le web une question est souvent suivie d’autres questions.
    • CParce qu’il ne connaît pas la réponse.
    Réponse

    B. Il prédit la suite, comme le modèle au dé de la séance 12. Il faut le régler pour qu’il réponde au lieu de continuer.

  2. À quoi sert le classement de réponses par des personnes ?

    • AÀ ajuster le modèle pour qu’il produise plus souvent les réponses jugées utiles, honnêtes et sans danger.
    • BÀ vérifier chaque réponse avant qu’elle soit envoyée.
    • CÀ noter les utilisateurs.
    Réponse

    A. Le modèle est réglé à partir de milliers de classements. Personne ne relit les réponses en direct : il a appris des préférences.

  3. Qu’est-ce qu’une consigne cachée ?

    • AUn message secret envoyé à l’utilisateur.
    • BUn texte, rédigé par l’entreprise qui fournit l’assistant, que celui-ci reçoit avant la conversation et que l’utilisateur ne voit pas.
    • CUne erreur du modèle.
    Réponse

    B. Elle fixe le rôle, le ton et les limites de l’assistant. L’assistant du magasin de vélos refusera poliment de conseiller un restaurant.

  4. Qu’en conclure sur les réponses d’un assistant ?

    • AElles sont neutres, puisqu’une machine les produit.
    • BElles reflètent des choix humains : ceux des personnes qui ont classé ses réponses et de l’entreprise qui écrit ses consignes.
    • CElles sont choisies au hasard.
    Réponse

    B. Le ton, les refus et les priorités d’un assistant viennent de son réglage et de ses consignes. Deux assistants peuvent répondre très différemment à la même question.

Questions difficiles

Questions d’élèves embarrassantes, avec une réponse possible.

Qui sont les personnes qui classent les réponses ?

Des salariés des entreprises, des spécialistes recrutés pour certains domaines, et beaucoup de travailleurs sous-traités, parfois peu payés, comme l’a montré l’enquête du magazine Time évoquée à la séance 4. Leurs préférences, et les consignes qu’on leur donne, façonnent le comportement des assistants.

Peut-on voir les consignes cachées ?

En général non. Certaines entreprises en publient une partie. Des utilisateurs ont réussi à faire répéter ces consignes à des assistants en les piégeant, ce qui montre qu’elles ne sont pas une protection sûre.

Si je dis à l’assistant d’oublier ses consignes, il obéit ?

Il est entraîné à résister, mais pas toujours avec succès. Quand un texte lu par l’assistant, par exemple une page web, contient des ordres cachés, on parle d’injection de consigne : c’est un vrai problème de sécurité, que les concepteurs cherchent à corriger.

Pourquoi l’assistant refuse-t-il parfois des questions normales ?

Parce que le réglage qui lui apprend à refuser les demandes dangereuses conduit parfois à refuser des demandes légitimes, comme la réponse C de la question 1. Trouver le bon équilibre entre utile et prudent est l’une des difficultés du réglage.

Différencier