L’évaluation d’un modèle
ObjectifCompter les erreurs d’un modèle et comprendre qu’elles n’ont pas toutes les mêmes conséquences.
Déroulé
- 5 min
Accroche
Demander : un filtre de courrier indésirable qui se trompe une fois sur dix, est-ce un bon filtre ? Faire préciser : se trompe-t-il en jetant un message important, ou en laissant passer une publicité ? Annoncer que ces deux erreurs n’ont pas le même nom ni le même poids.
- 12 min
Ranger les scores
Groupes de trois ou quatre. Chaque groupe reçoit les douze cartes : pour chaque message, le score donné par la machine, de 0 à 100, et ce qu’il est en réalité. Il range les cartes en ligne, du score le plus bas au plus haut. Puis il fixe un seuil de 50 : la machine classe indésirable tout message dont le score atteint 50. Il compte les quatre cas : indésirables bien repérés, normaux bien laissés passer, normaux jetés à tort, indésirables passés à tort.
- 10 min
Déplacer le seuil
Même travail avec un seuil de 80, puis de 30. Les groupes remplissent un tableau de trois lignes, une par seuil, et quatre colonnes, une par cas. Rôles : une personne déplace le seuil, une compte, une écrit.
- 9 min
Choix du seuil
Relever les tableaux. Faire constater qu’aucun seuil ne supprime toutes les erreurs : baisser le seuil diminue les indésirables qui passent mais augmente les messages jetés à tort. Faire choisir un seuil pour le courrier. Puis transposer : un test de dépistage d’une maladie, un outil qui prédit le risque de récidive d’une personne jugée. Quelle erreur est la plus grave dans chaque cas ?
- 4 min
Le détecteur paresseux
Lire la fiche du dossier. Un paiement bancaire sur mille est frauduleux. Un détecteur répond toujours « pas de fraude ». Faire calculer sa part de bonnes réponses : 999 sur 1 000. Puis demander combien de paiements frauduleux il repère : aucune. Conclure qu’un taux de réussite élevé ne suffit pas quand ce qu’on cherche est rare : il faut regarder les faux négatifs.
- 5 min
Un cas réel
Présenter l’enquête de ProPublica de 2016 sur un logiciel américain d’évaluation du risque de récidive : parmi les personnes qui n’ont pas récidivé, les accusés noirs avaient été classés à risque élevé presque deux fois plus souvent que les accusés blancs. Faire dire ce qu’il faut mesurer pour le découvrir : les erreurs de chaque sorte, groupe par groupe.
- 5 min
Trace écrite
Projeter la trace écrite, la faire recopier ou distribuer la version imprimée.
- 5 min
Vérification
Lire les cinq questions. Les élèves notent la lettre de leur réponse, puis la correction suit aussitôt.
Savoir professeur
Les connaissances utiles pour faire la séance. Environ dix minutes de lecture.
Deux types d’erreurs
La séance 7 a montré qu’on évalue un modèle sur des exemples nouveaux. Celle-ci précise comment compter ses erreurs. Pour un modèle qui classe en deux catégories, on parle de positif pour la catégorie qu’on cherche à repérer, ici « indésirable », et de négatif pour l’autre. Chaque réponse tombe alors dans l’un des quatre cas :
| Réellement indésirable | Réellement normal | |
|---|---|---|
| Classé indésirable | vrai positif | faux positif |
| Classé normal | faux négatif | vrai négatif |
Ce tableau s’appelle une matrice de confusion. Le faux positif signale à tort : un message important part dans les indésirables. Le faux négatif laisse passer à tort : une publicité arrive dans la boîte de réception.
Score et seuil
Beaucoup de modèles ne répondent pas directement oui ou non : ils donnent un score, plus élevé quand le cas leur paraît plus suspect. On choisit ensuite un seuil : au-delà, on signale. Les douze cartes donnent les scores d’un filtre fictif. Six messages sont réellement indésirables, avec les scores 95, 88, 76, 64, 52 et 41 ; six sont normaux, avec 83, 58, 35, 22, 15 et 8. Le filtre est imparfait : un message normal obtient 83, un indésirable seulement 41.
Les trois seuils de la séance donnent :
| Seuil | Vrais positifs | Faux positifs | Faux négatifs | Vrais négatifs |
|---|---|---|---|---|
| 30 | 6 | 3 | 0 | 3 |
| 50 | 5 | 2 | 1 | 4 |
| 80 | 2 | 1 | 4 | 5 |
Deux leçons en ressortent. Aucun seuil ne supprime toutes les erreurs, puisque les scores des deux catégories se chevauchent : déplacer le seuil échange une sorte d’erreur contre l’autre. Et les seuils de 30 et de 50 font tous deux trois erreurs, mais pas les mêmes : le nombre total d’erreurs ne suffit pas pour juger un modèle.
Choix du seuil
Le choix du seuil n’est pas technique : il dépend de ce que coûte chaque erreur.
- Courrier indésirable. Perdre une convocation est plus grave que recevoir une publicité : on préfère un seuil élevé, qui limite les faux positifs.
- Dépistage d’une maladie grave. Laisser repartir une personne malade est très grave : on préfère un seuil bas, quitte à avoir des faux positifs, qu’un second examen écartera. Le faux positif a pourtant un coût : inquiétude, examens inutiles.
- Justice. Classer à tort une personne comme dangereuse peut lui coûter sa liberté. Les deux erreurs touchent des personnes et la société ; le choix est éthique et politique, pas seulement statistique.
Taux de réussite trompeur
Un modèle peut afficher un excellent taux de réussite sans rien faire d’utile. Si un paiement sur mille est frauduleux, un détecteur qui répond toujours « pas de fraude » a raison 999 fois sur 1 000, soit 99,9 % de bonnes réponses. Il ne repère pourtant aucune fraude : tous les cas positifs deviennent des faux négatifs. Ce piège apparaît chaque fois que les deux catégories sont très déséquilibrées : fraudes, maladies rares, pannes, défauts de fabrication.
La fiche du dossier compare ce détecteur paresseux à un second, qui repère 900 paiements frauduleux sur 1 000 mais bloque aussi 9 000 paiements normaux. Le premier a 99,9 % de bonnes réponses ; le second en a 99 % environ, puisqu’il commet 100 faux négatifs et 9 000 faux positifs sur un million de paiements. Le second est pourtant de loin le plus utile. Les deux leçons de la séance se rejoignent : le nombre total d’erreurs ne suffit pas, il faut compter chaque sorte d’erreur. La séance 24 retrouvera le même phénomène avec les fausses alertes de la reconnaissance faciale.
Ce piège guette aussi les modèles produits avec l’aide d’un assistant : un chiffre flatteur ne prouve rien tant qu’on n’a pas regardé ce qu’il mesure.
Cas ProPublica
En 2016, le média d’enquête ProPublica a étudié un logiciel utilisé aux États-Unis pour estimer le risque de récidive de personnes jugées. En comparant ses prédictions à ce qui s’était réellement passé, pour plusieurs milliers de personnes, les journalistes ont montré que, parmi celles qui n’avaient pas récidivé, les accusés noirs avaient été classés à risque élevé presque deux fois plus souvent que les accusés blancs : leurs faux positifs étaient beaucoup plus nombreux. Le taux de réussite global du logiciel était pourtant comparable entre les groupes.
Ce cas relie cette séance à celle des biais : il faut mesurer les erreurs de chaque sorte, groupe par groupe. Il a aussi ouvert un débat scientifique : des chercheurs ont démontré qu’il est en général impossible de satisfaire à la fois plusieurs définitions de l’équité. Choisir laquelle privilégier est une décision humaine.
Conduite de l’activité
Le rangement des cartes en ligne rend le seuil visible : une bande de papier posée entre deux cartes sépare ce qui est signalé du reste. Les élèves voient alors qu’en la déplaçant d’une carte, une erreur disparaît et une autre apparaît. Le vocabulaire des quatre cas déroute au début ; le faire employer systématiquement pendant la mise en commun, en revenant au tableau de référence. Pour la transposition à la justice, l’objectif n’est pas de conclure, mais de montrer que le choix du seuil dépend de ce que l’on juge le plus grave.
Vocabulaire et erreurs fréquentes
Employer : vrai positif, faux positif, faux négatif, vrai négatif, seuil, score, matrice de confusion. Préciser que « positif » ne veut pas dire « bon » : c’est la catégorie qu’on cherche.
Deux idées reçues reviennent. « Un bon modèle ne se trompe pas » : tout modèle se trompe, la question est de savoir comment. « Le pourcentage de réussite suffit » : il cache la répartition des erreurs.
Version avec ordinateurs
- Le premier rangement des cartes et le seuil de 50 se font sur papier.
- Ensuite, les binômes recopient les douze messages dans un tableur, une ligne par message, avec le score et la réalité. Une cellule contient le seuil.
- Avec la fonction NB.SI.ENS, compter automatiquement les quatre cas pour le seuil choisi, puis faire varier le seuil de 0 à 100 et noter comment évoluent les messages jetés à tort et les indésirables passés.
- Chercher le seuil qui ne jette aucun message normal, puis celui qui ne laisse passer aucun indésirable, et dire ce que coûte chacun.
Version sans ordinateur
Le déroulé ordinaire se fait déjà sans ordinateur.
Matériel
- Les douze cartes, une planche par groupe, découpées.
- Une bande de papier ou une règle graduée pour marquer le seuil.
- Un tableau à remplir par groupe : trois seuils, quatre cas.
- La fiche du détecteur paresseux, projetée ou une par groupe.
Consignes
- Préparer au tableau la grille des quatre cas, avec les mots de la séance : vrais positifs, vrais négatifs, faux positifs, faux négatifs. Préciser que « positif » veut dire ici « classé indésirable ».
- Faire remarquer que les seuils de 30 et de 50 font le même nombre total d’erreurs, trois, mais pas les mêmes : le nombre total ne suffit pas à juger.
- Pour la transposition, ne pas imposer de réponse sur la justice : faire argumenter.
Dossier documentaire (une fiches)
Le détecteur paresseux
Une banque traite un million de paiements par jour. Un sur mille est frauduleux, soit mille paiements frauduleux par jour. Un premier détecteur répond toujours « pas de fraude ». Un second repère 900 de ces 1 000 paiements frauduleux, mais bloque aussi par erreur 9 000 paiements normaux. Question 1 : quelle part de bonnes réponses obtient chaque détecteur ? Question 2 : combien de paiements frauduleux chacun laisse-t-il passer ? Question 3 : lequel la banque doit-elle choisir, et pourquoi ?
Trace écrite
Un modèle qui classe en deux catégories peut se tromper de deux façons : le faux positif, qui signale à tort, et le faux négatif, qui laisse passer à tort.
Beaucoup de modèles donnent un score ; on choisit un seuil au-delà duquel on signale. Baisser le seuil réduit les faux négatifs mais augmente les faux positifs, et inversement : aucun seuil ne supprime toutes les erreurs.
Un taux de réussite élevé peut tromper quand ce qu’on cherche est rare : un détecteur qui ne signale jamais rien a raison presque toujours, sans rien repérer. On regarde donc chaque sorte d’erreur.
Le bon seuil dépend des conséquences de chaque erreur dans le domaine : courrier, santé, justice. Ce choix est humain, et il faut mesurer les erreurs de chaque sorte, y compris groupe par groupe.
Vérification
À projeter ou à lire en fin de séance. La réponse s’affiche en cliquant sur « Réponse ».
-
Un message important est rangé dans les indésirables. De quelle erreur s’agit-il ?
- AUn faux positif : la machine l’a signalé à tort.
- BUn faux négatif.
- CCe n’est pas une erreur.
Réponse
A. « Positif » veut dire ici « classé indésirable ». Le message a été signalé alors qu’il était normal : c’est un faux positif.
-
Que se passe-t-il si l’on baisse le seuil de 50 à 30 ?
- AToutes les erreurs disparaissent.
- BPlus aucun indésirable ne passe, mais davantage de messages normaux sont jetés.
- CRien ne change.
Réponse
B. À 30, les six indésirables sont repérés, mais trois messages normaux sont jetés au lieu de deux. On échange une erreur contre une autre.
-
Pour un test de dépistage d’une maladie grave, quelle erreur cherche-t-on surtout à éviter ?
- ALe faux positif, car il inquiète inutilement.
- BLe faux négatif, car il laisse repartir une personne malade sans soin.
- CAucune, elles se valent.
Réponse
B. On choisit souvent un seuil bas, quitte à avoir des faux positifs, qu’un second examen permettra d’écarter. Le faux positif n’est pas anodin pour autant.
-
Deux seuils font chacun trois erreurs sur douze. Sont-ils équivalents ?
- AOui, puisqu’ils ont le même score.
- BNon : il faut regarder quelles erreurs ils font, et leurs conséquences.
- COn ne peut pas comparer deux seuils.
Réponse
B. À 30, les trois erreurs sont des messages jetés à tort ; à 50, deux messages jetés et un indésirable passé. Le nombre total cache des réalités différentes.
-
Un paiement frauduleux sur mille. Un détecteur répond toujours « pas de fraude ». Que vaut-il ?
- AIl est excellent : il a raison 999 fois sur 1 000.
- BIl est inutile : il ne repère aucune fraude, malgré ses 99,9 % de bonnes réponses.
- COn ne peut pas savoir sans ordinateur.
Réponse
B. Quand ce qu’on cherche est rare, ne jamais le signaler donne un taux de réussite très élevé. Il faut compter les faux négatifs : ici, tous les paiements frauduleux passent.
Questions difficiles
Questions d’élèves embarrassantes, avec une réponse possible.
Pourquoi ne pas prendre le seuil qui fait le moins d’erreurs au total ?
Parce que toutes les erreurs n’ont pas le même prix. Jeter la convocation à un examen est plus grave que laisser passer une publicité. On choisit le seuil selon ce que coûte chaque erreur, pas seulement selon leur nombre.
Le score, c’est une probabilité ?
Il y ressemble, mais pas toujours. Beaucoup de modèles donnent un nombre qui classe les cas du moins au plus suspect, sans que 80 veuille dire « huit chances sur dix ». Il faut le vérifier sur un jeu de test avant de le lire comme une probabilité.
Une machine qui juge le risque de récidive, c’est légal en France ?
En France, aucune décision de justice ne peut se fonder sur un traitement automatisé destiné à évaluer la personnalité, et le règlement européen sur l’IA classe ces usages parmi les systèmes à haut risque, très encadrés. La séance 24 y reviendra.
Comment ProPublica a-t-elle trouvé le problème ?
En comparant les prédictions du logiciel à ce qui s’est réellement passé deux ans plus tard, pour plusieurs milliers de personnes, et en comptant les erreurs de chaque sorte séparément selon les groupes. Le logiciel avait un taux de réussite global proche pour tous ; c’est la répartition des erreurs qui différait.