Éthique des décisions automatisées
ObjectifAnalyser des décisions confiées à des machines et débattre de leurs limites.
Déroulé
- 5 min
Accroche
Demander à main levée : accepteriez-vous que votre note au baccalauréat soit calculée par un algorithme, sans que personne ne relise votre copie ? Puis : et si l’algorithme était plus juste en moyenne que les correcteurs ? Laisser les avis s’exprimer sans trancher.
- 15 min
Quatre cas
Groupes de trois ou quatre, un cas par groupe, chaque cas traité par au moins deux groupes. Pour son cas, le groupe répond à quatre questions : quelle décision a été confiée à une machine ? Qui l’a voulue ? Qui a été touché ? Quelles valeurs s’opposent, par exemple l’efficacité et la justice, ou la sécurité et la liberté ? Rôles : une personne lit, une note, une présentera.
- 8 min
Mise en commun
Chaque cas est présenté en une minute. Relever au tableau les valeurs qui s’opposent. Faire ressortir un point commun : la machine applique un objectif et des données choisis par des humains, et la responsabilité reste humaine. Rappeler que le droit européen donne à chacun le droit de ne pas faire l’objet d’une décision importante prise uniquement par une machine.
- 17 min
Le débat réglé
Motion : « Une machine ne devrait jamais prendre seule une décision importante pour une personne. » Deux équipes de quatre, tirées au sort, pour et contre, préparent trois arguments en s’appuyant sur les cas. Un modérateur et un élève chargé du temps ; le reste de la classe forme le jury, qui note la qualité des arguments et le respect de la parole. Deux minutes d’exposé par équipe, deux minutes de réponse, puis avis motivé du jury.
- 5 min
Trace écrite
Projeter la trace écrite, la faire recopier ou distribuer la version imprimée.
- 5 min
Vérification
Lire les quatre questions. Les élèves notent la lettre de leur réponse, puis la correction suit aussitôt.
Savoir professeur
Les connaissances utiles pour faire la séance. Environ dix minutes de lecture.
Place de la séance
La séance rassemble ce qu’ont montré la partie 5 et les séances 10 et 21 autour d’une question d’éthique : que se passe-t-il quand une décision qui touche une personne est confiée à une machine ? Elle se conclut par un débat réglé, pratique de l’enseignement moral et civique, comme y invite la lettre de saisine.
Quatre cas
Les notes du baccalauréat anglais, en 2020. Les examens ayant été annulés, un algorithme a calculé les notes à partir des prévisions des professeurs et de l’historique de chaque lycée. Environ 39 % des notes prévues ont été abaissées, surtout dans les lycées aux résultats historiquement faibles. Cohérent à l’échelle du pays, le calcul était injuste pour des personnes : un élève brillant d’un lycée en difficulté était jugé sur le passé de son établissement. Après des manifestations d’élèves, le gouvernement a renoncé.
Les allocations aux Pays-Bas. Entre 2005 et 2019, l’administration fiscale a utilisé un système de repérage des fraudes aux allocations de garde d’enfants qui prenait notamment en compte la nationalité. Environ 26 000 parents ont été accusés à tort et sommés de rembourser des sommes considérables ; des familles ont été ruinées. Le gouvernement a démissionné en janvier 2021.
La voiture autonome de Tempe, en 2018. Un véhicule d’essai a tué une piétonne qui traversait de nuit. Le système l’avait détectée mais mal identifiée, et le freinage d’urgence automatique avait été désactivé ; la conductrice de sécurité regardait son téléphone. Les responsabilités étaient partagées entre l’entreprise, la conductrice et les autorités qui encadraient les essais.
Le tri des patients, cas imaginé pour la séance, pose la question la plus actuelle : un système un peu plus précis en moyenne que l’humain doit-il décider ? La réponse dépend de qui peut le corriger, de qui en répond, et de la façon dont il traite les cas rares.
Points communs des cas
Trois idées doivent ressortir. La machine applique un objectif et des données choisis par des humains : réduire l’inflation des notes, lutter contre la fraude, gagner du temps. Les torts viennent souvent de ces choix plutôt que d’une panne. La responsabilité reste humaine : aucune machine n’a démissionné aux Pays-Bas. Et des valeurs s’opposent : efficacité et justice, cohérence d’ensemble et attention à chaque personne, innovation et sécurité.
Le droit en tire une règle : le règlement général sur la protection des données donne à chacun le droit de ne pas faire l’objet d’une décision produisant des effets importants fondée uniquement sur un traitement automatisé, et d’obtenir une intervention humaine, avec des exceptions encadrées. Le règlement sur l’IA classe à haut risque de nombreux systèmes de décision, dans l’éducation, l’emploi ou l’accès aux prestations.
Apports d’une décision assistée
Les cas étudiés montrent des échecs, mais une machine bien encadrée peut aussi améliorer une décision. En Suède, un essai mené auprès de plus de quatre-vingt mille femmes a comparé deux façons de lire les mammographies de dépistage du cancer du sein. Dans le premier groupe, deux radiologues lisaient chaque examen. Dans le second, une IA classait les examens selon le risque et aidait les radiologues. Le second groupe a repéré 244 cancers contre 203, avec 44 % de lectures en moins pour les radiologues. Les médecins gardaient la décision ; la machine les aidait à porter leur attention là où il le fallait.
Ce cas sert de contrepoint dans le débat : ce qui distingue un bon usage d’un mauvais n’est pas la présence d’une machine, mais l’objectif, le contrôle humain, l’évaluation rigoureuse avant le déploiement et la possibilité de recours.
Dilemme de la voiture autonome
La carte du dilemme reprend l’expérience Moral Machine, publiée en 2018 : environ 40 millions de décisions recueillies dans 233 pays et territoires sur des dilemmes de voiture autonome. Les préférences variaient selon les régions du monde. Le résultat est utile pour montrer qu’il n’existe pas de morale universelle à programmer. Mais les dilemmes spectaculaires ne doivent pas masquer l’essentiel : les vrais enjeux portent sur les objectifs, les données, les contrôles et les recours.
Débat réglé
Les équipes tirées au sort défendent une position qu’elles n’ont pas choisie, en s’appuyant sur les cas. Le jury note la qualité des arguments et le respect des règles, non l’opinion. La motion est formulée pour être discutable : « jamais » est un mot fort, que l’équipe contre peut attaquer avec l’exemple d’aides utiles, et que l’équipe pour peut défendre avec les cas de 2020 et des Pays-Bas.
Conduite de la séance
Le cas des notes anglaises touche directement des élèves du même âge : commencer par lui si la classe est peu bavarde. Pour le cas néerlandais, expliquer d’abord simplement ce que sont une allocation et un contrôle de fraude. Pendant le débat, le rôle du professeur se limite à faire respecter les règles ; il donne son analyse, s’il le souhaite, seulement après l’avis du jury.
Vocabulaire et erreurs fréquentes
Employer : décision automatisée, responsabilité, valeur, recours, contrôle humain, motion.
Deux idées reçues reviennent. « La machine est neutre, donc juste » : elle applique des choix humains. « On ne peut rien y faire » : le droit, les contrôles et le débat public permettent d’encadrer ces décisions.
Version avec ordinateurs
- L’analyse des cas et le débat se font sans écran.
- Avant la séance, le professeur peut faire répondre les élèves, depuis leur poste, à quelques dilemmes de la plateforme publique Moral Machine, sans créer de compte, puis comparer les choix de la classe.
- Pendant la mise en commun, il peut projeter un article de presse sur l’un des cas.
Version sans ordinateur
Toute la séance se fait sans ordinateur.
Matériel
- Les quatre cartes de cas, en deux exemplaires, et la carte du dilemme, à lire au besoin.
- Une grille de notation pour le jury.
Consignes
- Tirer au sort les équipes du débat : défendre une position qu’on n’a pas choisie oblige à argumenter.
- Rappeler les règles du débat réglé : on ne coupe pas la parole, on répond aux arguments et non aux personnes.
- La carte du dilemme de la voiture autonome est une ouverture : elle intéresse les élèves, mais les vrais enjeux éthiques sont souvent moins spectaculaires, comme le montrent les quatre cas.
Corrigé des cartes
- Les notes du baccalauréat anglais, 2020 Décision : les notes. Voulue par : le gouvernement, pour éviter une inflation des notes. Touchés : les élèves, surtout ceux des lycées défavorisés, jugés sur le passé de leur établissement. Valeurs : équité individuelle contre cohérence statistique.
- Les allocations aux Pays-Bas, 2005 à 2019 Décision : signaler des fraudeurs présumés. Voulue par : l’administration, pour lutter contre la fraude. Touchés : des familles, souvent d’origine étrangère, ruinées. Valeurs : efficacité de la lutte contre la fraude contre justice et non-discrimination.
- La voiture autonome de Tempe, 2018 Décision : conduire. Voulue par : l’entreprise qui testait le véhicule. Touchée : une piétonne. Responsabilités partagées : entreprise, conductrice de sécurité, autorités qui autorisaient les essais. Valeurs : innovation contre sécurité.
- Le tri des patients Décision : l’ordre de prise en charge. Voulue par : l’hôpital, pour gagner du temps. Touchés : les patients, surtout ceux dont le cas est rare. Valeurs : efficacité contre attention à chaque personne. Question clé : qui peut corriger la machine, et qui en répond ?
- Le dilemme Ouverture : il n’existe pas de règle morale universelle à programmer. Mais les décisions réelles sont rarement des dilemmes aussi nets ; elles portent plutôt sur les objectifs, les données et les contrôles.
Trace écrite
Confier une décision à une machine, c’est appliquer un objectif et des données choisis par des humains. La responsabilité reste humaine : celle de ceux qui conçoivent, déploient et utilisent le système.
Ces décisions opposent des valeurs : efficacité et justice, sécurité et liberté, cohérence d’ensemble et attention à chaque personne. Il n’existe pas de règle morale universelle qu’il suffirait de programmer.
Le droit européen donne à chacun le droit de ne pas faire l’objet d’une décision importante fondée uniquement sur un traitement automatisé, et d’obtenir une intervention humaine.
Vérification
À projeter ou à lire en fin de séance. La réponse s’affiche en cliquant sur « Réponse ».
-
Dans le cas des notes anglaises de 2020, pourquoi l’algorithme a-t-il été jugé injuste ?
- AParce qu’il se trompait dans ses calculs.
- BParce qu’il jugeait les élèves en partie sur les résultats passés de leur lycée, et non sur leur propre travail.
- CParce qu’il donnait de trop bonnes notes.
Réponse
B. Le calcul était cohérent à l’échelle du pays, mais injuste pour des personnes : un bon élève d’un lycée aux résultats faibles était pénalisé.
-
Qui est responsable quand une décision automatisée cause un tort ?
- ALa machine.
- BPersonne, car c’est un accident technique.
- CDes humains : ceux qui ont conçu, déployé et utilisé le système.
Réponse
C. Une machine n’a pas de responsabilité juridique ni morale. Dans le scandale néerlandais, c’est le gouvernement qui a démissionné.
-
Que garantit le droit européen face aux décisions automatisées ?
- AQu’aucune machine ne sera jamais utilisée par une administration.
- BLe droit de ne pas faire l’objet d’une décision importante fondée uniquement sur un traitement automatisé, et d’obtenir une intervention humaine.
- CLe droit de connaître le code de tous les algorithmes.
Réponse
B. C’est une règle du règlement général sur la protection des données. Elle a des exceptions, mais elle garantit en principe un recours humain.
-
Que montre l’expérience du dilemme de la voiture autonome ?
- AQu’il existe une bonne réponse que tout le monde partage.
- BQue les préférences morales varient selon les personnes et les régions, et qu’il n’existe pas de règle universelle à programmer.
- CQue les voitures autonomes sont dangereuses.
Réponse
B. Des millions de réponses ont montré des préférences différentes selon les cultures. Décider quelles valeurs programmer est un choix politique et moral.
Questions difficiles
Questions d’élèves embarrassantes, avec une réponse possible.
Si la machine est plus juste en moyenne que les humains, pourquoi ne pas l’utiliser ?
C’est une vraie question, sans réponse unique. Une machine plus juste en moyenne peut l’être moins pour certaines personnes ou certains groupes, comme l’a montré la séance 10. Elle peut aussi être plus difficile à contester. On peut l’utiliser comme aide, en gardant un contrôle et un recours humains.
Pourquoi ne pas programmer la morale dans la machine ?
Parce qu’il n’y a pas d’accord sur une morale universelle, comme le montre l’expérience du dilemme, et que les situations réelles sont trop variées pour être toutes prévues. On peut fixer des règles et des limites, mais les choix de valeurs restent humains et doivent être débattus.
Les humains aussi font des erreurs et ont des préjugés.
Oui, et c’est un argument sérieux en faveur de certaines aides automatiques. Mais l’erreur d’une machine se répète à grande échelle, de façon systématique, et elle est souvent plus difficile à voir et à contester. C’est pourquoi on exige transparence, contrôle et possibilité de recours.
Qu’est-ce qu’une décision importante ?
Le droit parle de décisions qui produisent des effets juridiques ou qui affectent une personne de manière significative : un refus de crédit, d’emploi, d’allocation, une note d’examen. Proposer une vidéo n’en est pas une ; décider d’une orientation, si.