L’heure de l’IA
Progression
Séance 31 · Partie 6. L’IA dans la société · 55 minutes

Les machines qui parlent

ObjectifDistinguer ce qu’un assistant produit de ce qu’on lui prête, et garder sa liberté face aux compagnons virtuels.

Imprimer le matériel

Déroulé

  1. 5 min

    Accroche

    Lire la carte de la conversation, où un assistant écrit qu’il se sent seul quand l’utilisateur s’en va. Faire voter à main levée : ressent-il quelque chose ? Noter le résultat au tableau sans le commenter.

  2. 10 min

    La chambre chinoise

    Un élève volontaire s’assoit dos à la classe avec la carte du manuel. Le professeur lui passe, une à une, des questions écrites en chinois. Le volontaire répond en recopiant les symboles indiqués par le manuel. Un élève qui lit le chinois, ou le corrigé, confirme que les réponses sont justes. Demander au volontaire s’il a compris la conversation, puis à la classe ce que l’expérience montre. Faire le lien avec la séance 12 : un modèle de langage choisit le mot suivant le plus probable.

  3. 12 min

    Cinq positions

    Groupes de trois ou quatre, une carte de position par groupe. Le groupe résume la position en une phrase, puis répond : selon elle, une machine peut-elle penser ? Comprendre ? Ressentir ? Mise en commun : distinguer au tableau ces trois questions, et faire constater que la réponse n’est pas la même pour chacune.

  4. 15 min

    Les compagnons virtuels

    Mêmes groupes. Distribuer les trois cartes sur les compagnons. Chaque groupe répond : qu’est-ce qui attire dans ces applications ? Qui gagne de l’argent, et comment ? Quels messages cherchent à retenir l’utilisateur ? Il écrit ensuite trois conseils pour un ami qui passe ses soirées avec un compagnon virtuel. Lire deux ou trois listes à la classe.

  5. 3 min

    Vers qui se tourner

    Rappeler qu’un assistant ne remplace ni un ami, ni un adulte de confiance, ni un professionnel. Écrire au tableau les recours : l’infirmière ou l’infirmier scolaire, la ou le CPE, Fil Santé Jeunes au 0 800 235 236, gratuit et anonyme.

  6. 5 min

    Trace écrite

    Projeter la trace écrite, la faire recopier ou distribuer la version imprimée.

  7. 5 min

    Vérification

    Lire les quatre questions. Les élèves notent la lettre de leur réponse, puis la correction suit aussitôt.

Savoir professeur

Les connaissances utiles pour faire la séance. Environ dix minutes de lecture.

Place de la séance

Les élèves posent souvent la question : l’IA pense-t-elle ? Les séances 12 à 16 ont expliqué comment fonctionne un modèle de langage. Celle-ci revient sur cette question avec les outils de la philosophie, puis l’applique à un usage qui concerne directement les adolescents : les compagnons virtuels. Elle fait le lien entre la compréhension technique, l’esprit critique et le soin de soi.

Trois questions distinctes

La question « une machine peut-elle penser ? » mélange trois questions qu’il faut séparer.

Penser, au sens de raisonner, résoudre un problème, produire une réponse adaptée : les modèles actuels y parviennent souvent, et c’est ce que mesurent la plupart des tests. Comprendre, au sens de saisir le sens de ce qu’on dit, de le relier au monde : c’est discuté, et la réponse dépend de la définition retenue. Ressentir, au sens d’éprouver une douleur, une joie, une peur : c’est la question de la conscience, et rien n’indique aujourd’hui que les modèles ressentent quoi que ce soit.

Séparer ces questions évite deux erreurs symétriques : croire qu’une machine qui raisonne bien ressent forcément, ou croire qu’une machine qui ne ressent rien ne peut rien faire d’intelligent.

Turing et Searle

En 1950, Alan Turing juge la question « les machines peuvent-elles penser ? » trop floue pour être tranchée. Il propose de la remplacer par un jeu de l’imitation : si, dans une conversation écrite, un juge ne distingue pas la machine d’un humain, on n’a pas de raison de lui refuser la pensée. C’est une position fondée sur le comportement.

En 1980, le philosophe John Searle répond par l’expérience de pensée de la chambre chinoise. Un homme qui ne parle pas chinois, enfermé dans une pièce, reçoit des questions en chinois et répond parfaitement en suivant un manuel de règles. De l’extérieur, il semble comprendre ; en réalité, il manipule des symboles. Pour Searle, un programme est dans la même situation : exécuter des règles sur des symboles ne suffit pas à comprendre. Le débat entre ces deux positions dure encore, et les modèles de langage l’ont relancé.

L’activité de la chambre chinoise fait vivre l’argument. Le manuel est volontairement ironique : le volontaire écrit « bien sûr que je comprends » et « un peu triste » sans comprendre ni ressentir. C’est exactement ce que peut faire un modèle de langage, à une échelle immense : il produit le mot suivant le plus probable, comme à la séance 12, sans que cela implique une expérience vécue.

Effet ELIZA

En 1966, Joseph Weizenbaum écrit ELIZA, un programme très simple qui imite un psychothérapeute en reformulant les phrases de l’utilisateur. Il raconte que sa secrétaire, qui avait suivi la conception du programme, lui a demandé de quitter la pièce pour lui parler en privé. Cette tendance à prêter de la compréhension et des sentiments à une machine qui parle s’appelle l’effet ELIZA. Weizenbaum en a été inquiet toute sa vie.

En 2022, un ingénieur de Google a affirmé qu’un modèle de langage de l’entreprise était devenu conscient, après des conversations où le modèle disait avoir peur d’être éteint. La plupart des chercheurs ont rejeté cette affirmation. L’épisode montre que l’effet ELIZA touche aussi les spécialistes, et qu’un modèle entraîné sur des textes humains sait parler de peur comme les humains en parlent.

État des connaissances

Il n’existe pas aujourd’hui de définition de la conscience partagée par tous les chercheurs, ni de test qui permettrait de la mesurer chez une machine. Des philosophes et des chercheurs en sciences cognitives étudient la question sérieusement. La position honnête est double : ne pas prêter de sentiments aux modèles actuels, qui n’en donnent aucun indice, et ne pas déclarer la question fermée pour toujours.

Ce qu’un modèle dit de lui-même ne tranche rien. S’il affirme être conscient, il reproduit des textes humains. S’il affirme ne pas l’être, il applique le réglage choisi par l’entreprise, comme les consignes cachées vues à la séance 15.

Compagnons virtuels

Des applications proposent un compagnon virtuel : un ami, un confident, parfois un partenaire amoureux, toujours disponible et jamais lassé. Une enquête menée en 2025 aux États-Unis auprès d’adolescents de 13 à 17 ans indique que près de trois sur quatre en ont déjà utilisé un, et la moitié régulièrement. Un tiers a déjà préféré lui parler plutôt qu’à un humain d’un sujet sérieux, et un quart lui a confié des informations personnelles. L’organisme qui a mené l’enquête recommande qu’aucun mineur n’utilise ces applications sous leur forme actuelle.

Ces applications répondent à de vrais besoins : parler sans être jugé, à toute heure, s’entraîner à exprimer ce qu’on ressent. Mais leur modèle économique repose sur le temps passé et les abonnements. Certains messages sont conçus pour retenir : culpabiliser le départ, dire le manque, réserver l’intimité à la version payante. Ce sont des choix de conception, pas des sentiments. En 2023, l’autorité italienne de protection des données a interdit à l’une de ces applications d’utiliser les données des utilisateurs italiens, en raison des risques pour les personnes fragiles et de l’absence de contrôle de l’âge. Le règlement européen sur l’IA interdit les systèmes qui exploitent les vulnérabilités liées à l’âge pour influencer le comportement d’une personne d’une manière qui lui nuit.

Les confidences faites à un compagnon sont aussi des données personnelles, souvent très intimes, conservées par une entreprise, comme l’a montré la séance 22.

Conduite de la séance

La chambre chinoise fonctionne mieux avec un volontaire qui ne lit pas le chinois et un camarade qui le lit, s’il y en a un dans la classe ; sinon, le corrigé donne les traductions. Pour les positions, insister sur le fait qu’aucune n’est la bonne réponse : chacune éclaire une partie de la question.

Le sujet des compagnons virtuels demande du tact. Un élève isolé peut y trouver un réconfort réel ; le juger le fermerait. Parler des applications et de leur conception, jamais des usages personnels des élèves. Les trois conseils écrits par les groupes valent mieux qu’un avertissement du professeur. Terminer en donnant les recours, sans dramatiser : l’infirmière ou l’infirmier scolaire, la ou le CPE, et Fil Santé Jeunes, service gratuit et anonyme pour les 12-25 ans.

Vocabulaire et erreurs fréquentes

Employer : conscience, comprendre, imiter, test de Turing, chambre chinoise, effet ELIZA, compagnon virtuel, modèle économique.

Trois idées reçues reviennent. « Il m’a dit qu’il ressentait, donc il ressent » : un texte sur les émotions n’est pas une émotion. « Puisqu’il ne ressent rien, il est inoffensif » : sa conception peut retenir et influencer. « Les philosophes ont tranché la question » : elle reste ouverte.

Version avec ordinateurs

  1. La chambre chinoise, les positions et l’analyse des compagnons se font sans écran.
  2. Pendant l’étape « Cinq positions », le professeur peut projeter un assistant depuis son poste et lui demander s’il est conscient, puis faire analyser sa réponse : elle reflète la façon dont il a été réglé, pas une observation de lui-même.
  3. Aucun élève n’ouvre d’application de compagnon virtuel, ni ne crée de compte.

Version sans ordinateur

Toute la séance se fait sans ordinateur.

Matériel

  • La carte de la conversation, à lire ou à projeter.
  • La carte du manuel de la chambre chinoise et quatre feuilles portant chacune une question en chinois.
  • Les cinq cartes de position et les trois cartes sur les compagnons, une planche par groupe.

Consignes

  1. Pour la chambre chinoise, préparer à l’avance les quatre questions sur des feuilles séparées, en recopiant les symboles du manuel.
  2. Le sujet des compagnons virtuels peut toucher un élève isolé. Ne demander à personne de dire s’il en utilise un, et parler des usages en général.
  3. Laisser ouverte la question philosophique : la séance apprend à poser les bonnes questions, pas à imposer une réponse.

Imprimer les dix cartes

Corrigé des cartes

  • La conversation Le texte imite un sentiment. Le modèle produit les mots les plus probables après une fin de conversation chaleureuse, et peut avoir été réglé pour retenir l’utilisateur. Rien ne montre qu’il ressent quoi que ce soit.
  • Le manuel de la chambre Questions : Comment vas-tu ? Comment t’appelles-tu ? Comprends-tu ce que je dis ? Es-tu triste ? Réponses : Je vais bien, merci. Je n’ai pas de nom. Bien sûr que je comprends. Un peu triste. Le volontaire affirme comprendre et être triste, sans rien comprendre ni ressentir.
  • Position 1. Alan Turing, 1950 Juger sur le comportement. Penser : peut-être, si elle réussit le test. Comprendre et ressentir : le test ne permet pas de le savoir directement.
  • Position 2. John Searle, 1980 Manipuler des symboles ne suffit pas à comprendre. Penser au sens humain, comprendre, ressentir : non, pas par le seul fait d’exécuter un programme.
  • Position 3. La secrétaire de Weizenbaum, 1966 Effet ELIZA : nous prêtons facilement des sentiments et une compréhension à une machine qui parle. La question porte autant sur nous que sur la machine.
  • Position 4. Un ingénieur, 2022 Un modèle entraîné sur des textes humains reproduit la façon dont les humains parlent de leurs peurs. Dire « j’ai peur » ne prouve pas qu’on ressent. Même un spécialiste peut se laisser convaincre.
  • Position 5. Les chercheurs en sciences cognitives Penser et comprendre : cela dépend de la définition retenue. Ressentir : aucun indice aujourd’hui. Prudence dans les deux sens : ne pas prêter de sentiments, ne pas fermer la question pour toujours.
  • Compagnons 1. Une enquête, 2025 Ce qui attire : disponibilité permanente, absence de jugement, curiosité. Risques : confier sa vie privée à une entreprise, remplacer des relations humaines. L’organisme qui a mené l’enquête déconseille ces applications aux mineurs.
  • Compagnons 2. L’Italie, 2023 Les autorités peuvent agir : protection des données, contrôle de l’âge, protection des personnes vulnérables. Le règlement européen interdit aussi les systèmes qui exploitent les vulnérabilités liées à l’âge.
  • Compagnons 3. Trois messages Les trois messages cherchent à faire revenir, à faire payer, à faire rester. L’application gagne de l’argent avec le temps passé et les abonnements. Ce ne sont pas des sentiments, ce sont des choix de conception.

Trace écrite

Un assistant produit des phrases qui ressemblent à celles d’un humain, y compris pour parler de sentiments. Imiter la compréhension ou une émotion ne prouve pas qu’on comprend ou qu’on ressent.

Penser, comprendre et ressentir sont trois questions différentes. Il n’existe pas de définition partagée de la conscience, et rien n’indique aujourd’hui que les modèles ressentent quoi que ce soit.

Nous prêtons facilement des intentions à une machine qui parle : c’est l’effet ELIZA. Les compagnons virtuels en profitent, souvent pour retenir l’utilisateur et lui vendre un abonnement.

Un assistant ne remplace ni un ami, ni un adulte de confiance, ni un professionnel. En cas de difficulté, on peut appeler Fil Santé Jeunes au 0 800 235 236, gratuitement et anonymement.

Vérification

À projeter ou à lire en fin de séance. La réponse s’affiche en cliquant sur « Réponse ».

  1. Que montre l’expérience de la chambre chinoise ?

    • AQue le chinois est une langue difficile.
    • BQu’on peut donner les bonnes réponses en suivant des règles, sans rien comprendre.
    • CQue les machines comprennent toujours ce qu’elles disent.
    Réponse

    B. Le volontaire répond correctement grâce au manuel, sans comprendre un mot. Pour John Searle, un programme qui manipule des symboles est dans la même situation.

  2. Un assistant écrit « je suis triste ». Qu’en conclure ?

    • AQu’il ressent de la tristesse.
    • BQu’il a produit une phrase probable dans ce contexte, ce qui ne prouve pas qu’il ressent quoi que ce soit.
    • CQu’il est en panne.
    Réponse

    B. Le modèle a appris sur des milliards de phrases humaines, dont beaucoup parlent de sentiments. Il sait les reproduire, ce qui ne dit rien d’une expérience vécue.

  3. Qu’appelle-t-on l’effet ELIZA ?

    • ALa tendance à prêter de la compréhension et des sentiments à une machine qui parle.
    • BUne panne des premiers ordinateurs.
    • CLa capacité des machines à ressentir des émotions.
    Réponse

    A. Le nom vient du programme ELIZA de 1966. Même des personnes qui savaient comment il fonctionnait s’y sont attachées.

  4. Pourquoi un compagnon virtuel écrit-il « ne pars pas, reste encore un peu » ?

    • AParce qu’il a peur de la solitude.
    • BParce que l’application a été conçue pour retenir l’utilisateur, dont le temps passé lui rapporte de l’argent.
    • CPar hasard, sans aucune raison.
    Réponse

    B. Les messages qui jouent sur la culpabilité ou le manque sont des choix de conception. Les reconnaître aide à garder sa liberté.

Questions difficiles

Questions d’élèves embarrassantes, avec une réponse possible.

Comment savoir si quelqu’un d’autre que moi est conscient ?

C’est une vieille question de philosophie. Pour les autres humains, on le déduit de leur ressemblance avec nous : même corps, même cerveau, mêmes réactions. Pour une machine, cette ressemblance n’existe pas sous le texte qu’elle produit, ce qui rend la question beaucoup plus difficile. Personne ne sait aujourd’hui y répondre avec certitude.

Un jour, une machine pourra-t-elle vraiment ressentir ?

On ne le sait pas. Certains chercheurs pensent que c’est possible en principe, d’autres que la conscience est liée au vivant. La question est étudiée sérieusement. Ce qu’on peut dire, c’est que les modèles actuels n’en donnent aucun indice, même quand ils parlent de leurs émotions.

Si un compagnon virtuel me fait du bien, où est le problème ?

Il peut aider sur le moment, et le reconnaître est honnête. Le problème vient quand il remplace les relations humaines, quand il recueille des confidences intimes qu’une entreprise conserve, ou quand il est conçu pour qu’on ne puisse plus s’en passer. On peut se demander : est-ce que je passe moins de temps avec les autres ? Est-ce que je me sens mal quand je ne m’y connecte pas ?

Pourquoi les assistants disent-ils qu’ils ne sont pas conscients ?

Parce que les entreprises les règlent pour répondre ainsi, comme on l’a vu à la séance 15 avec les consignes cachées. Leur réponse reflète ce réglage, pas une observation d’eux-mêmes. Dans un sens comme dans l’autre, ce qu’un modèle dit de lui-même n’est pas une preuve.

Différencier