Voix et vidéos truquées
ObjectifSavoir ce que l’IA permet d’imiter, et adopter les réflexes qui protègent.
Déroulé
- 5 min
Accroche
Demander : combien de secondes d’enregistrement faut-il pour imiter une voix de façon convaincante ? Une heure, dix minutes, quelques secondes ? Noter les réponses, puis annoncer qu’une équipe de recherche a présenté en 2023 un modèle qui se contentait de trois secondes.
- 17 min
Étudier des cas réels
Groupes de trois ou quatre, deux cartes par groupe. Pour chaque cas, le groupe remplit quatre rubriques : ce qui a été imité, l’enregistrement nécessaire, la personne visée ou aidée, puis ce qui aurait protégé ou ce qui rend l’usage acceptable. Rôles : une personne lit, une remplit la grille, une présentera.
- 12 min
Mise en commun
Chaque groupe présente un cas en une minute. Classer les cas au tableau en deux colonnes : usages consentis et utiles, usages trompeurs ou malveillants. Faire ressortir les points communs des arnaques : l’urgence, l’argent, un appel inattendu, une personne de confiance imitée. Et ceux des usages légitimes : le consentement de la personne imitée et l’information du public.
- 8 min
Les réflexes et la loi
Construire avec la classe la liste des réflexes : se méfier de toute demande urgente d’argent ou de code ; raccrocher et rappeler par un numéro connu ; convenir d’un mot de passe familial ; ne jamais fabriquer ni partager l’hypertrucage d’une personne réelle ; signaler et en parler à un adulte. Rappeler que la loi française punit la diffusion d’un hypertrucage d’une personne sans son consentement, plus sévèrement s’il est à caractère sexuel.
- 3 min
Ressources
Écrire au tableau le 3018, numéro national gratuit contre le cyberharcèlement, et la plateforme de signalement Pharos. Préciser qu’une victime n’est jamais responsable de l’hypertrucage qui la vise.
- 5 min
Trace écrite
Projeter la trace écrite, la faire recopier ou distribuer la version imprimée.
- 5 min
Vérification
Lire les quatre questions. Les élèves notent la lettre de leur réponse, puis la correction suit aussitôt.
Savoir professeur
Les connaissances utiles pour faire la séance. Environ dix minutes de lecture.
Place de la séance
Les séances 12 et 18 ont montré comment l’IA génère des images et du texte. Les mêmes techniques s’appliquent à la voix et à la vidéo, et permettent d’imiter une personne réelle. On parle d’hypertrucage, traduction officielle de l’anglais deepfake. La séance ne cherche ni à effrayer ni à banaliser : elle montre ce qui est possible, ce qui est utile, ce qui est dangereux, et les réflexes qui protègent.
Possibilités actuelles
La voix. Un modèle de synthèse vocale entraîné sur de très nombreuses voix peut en imiter une nouvelle à partir d’un court échantillon. En 2023, une équipe de Microsoft a présenté un modèle qui se contentait d’un enregistrement de trois secondes ; elle ne l’a pas rendu public, par crainte des abus. D’autres outils, accessibles en ligne, demandent quelques dizaines de secondes. Une vidéo publiée sur un réseau social suffit donc souvent.
Le visage et la vidéo. Remplacer un visage dans une vidéo, faire bouger les lèvres d’une personne sur un autre texte, ou générer entièrement une scène est devenu possible avec du matériel ordinaire, et en direct pour une visioconférence.
Usages utiles et usages malveillants
Les huit cartes associent des cas réels et deux scénarios types. Deux montrent des usages légitimes : l’acteur Val Kilmer, privé d’une grande partie de sa voix par un cancer, l’a retrouvée à l’écran en 2022 grâce à un modèle entraîné avec son accord ; le doublage automatique permet de traduire une vidéo en gardant la voix de la personne. Ces usages ont deux points communs : le consentement de la personne imitée et l’information du public.
Les autres cartes montrent les risques. Les arnaques exploitent la confiance : la voix d’un supérieur en 2019, une visioconférence entière avec de faux collègues en 2024 à Hong Kong, chez le groupe Arup, pour environ 25 millions de dollars, et le scénario de l’appel de détresse d’un proche, signalé par les autorités de plusieurs pays. La manipulation politique : en 2024, des appels automatiques imitant la voix du président américain ont conseillé à des électeurs de ne pas voter ; le responsable a été condamné à une amende de 6 millions de dollars. Le harcèlement : selon les études disponibles, la grande majorité des hypertrucages en ligne sont des images intimes non consenties, qui visent surtout des femmes ; en 2024, celles de la chanteuse Taylor Swift ont été vues des dizaines de millions de fois. Des élèves, en France comme ailleurs, en ont été victimes.
Réflexes de protection
Les arnaques ont des points communs : un appel inattendu, une personne de confiance, l’urgence, l’argent ou un code. La parade est simple : raccrocher et rappeler par un numéro connu, ou poser une question dont seule la vraie personne connaît la réponse. Le mot de passe familial, convenu à l’avance, est recommandé par plusieurs autorités. Pour le harcèlement, les règles sont nettes : ne jamais fabriquer ni partager l’hypertrucage d’une personne réelle, signaler, en parler à un adulte. La victime n’est jamais responsable ; elle peut appeler le 3018, numéro national gratuit contre le cyberharcèlement, et les contenus illicites peuvent être signalés sur la plateforme Pharos.
Cadre légal
En France, la loi du 21 mai 2024, dite SREN, a renforcé le code pénal : diffuser, sans le consentement de la personne, un contenu visuel ou sonore généré par un traitement algorithmique et la représentant est puni, et plus sévèrement quand il est à caractère sexuel. Le règlement européen sur l’IA impose de signaler clairement les hypertrucages. La séance 24 reviendra sur le droit.
Conduite de la séance
Le sujet peut toucher personnellement des élèves. Décrire sans montrer, en particulier pour la carte sur les images intimes ; ne jamais fabriquer d’exemple à partir d’une personne réelle de l’établissement ; terminer par les ressources. Valoriser aussi les usages consentis, pour ne pas réduire la séance aux risques.
Vocabulaire et erreurs fréquentes
Employer : hypertrucage, synthèse vocale, consentement, signalement.
Trois idées reçues reviennent. « On reconnaît toujours une fausse voix » : les cas de 2019 et de 2024 montrent le contraire. « Ce n’est grave que pour les célébrités » : les arnaques et le harcèlement visent tout le monde. « Si c’est pour rire, ce n’est pas puni » : la diffusion sans consentement l’est.
Version avec ordinateurs
- L’étude des cas se fait sur cartes, comme dans le déroulé.
- Pendant la mise en commun, le professeur peut projeter un article de presse sur l’un des cas, ou une démonstration publique de synthèse vocale réalisée avec l’accord de la personne imitée.
- Ne jamais imiter, même pour l’exemple, la voix ou le visage d’un élève, d’un collègue ou d’une personne réelle sans son accord écrit. Les élèves n’utilisent aucun outil de synthèse sur leur poste.
Version sans ordinateur
Le déroulé ordinaire se fait déjà sans ordinateur.
Matériel
- Les huit cartes de cas, une planche pour deux groupes, découpées.
- Une grille à quatre rubriques par groupe.
Consignes
- Répartir les cartes pour que chaque groupe ait un cas malveillant et un usage consenti, ou deux cas de nature différente.
- Aborder la carte sur les images intimes avec sobriété : la décrire, ne montrer aucune image, et insister sur la protection des victimes.
- Terminer impérativement par les ressources : 3018 et Pharos. Certains élèves peuvent être concernés.
Corrigé des cartes
- La voix du patron, 2019 Imitée : une voix, à partir d’enregistrements publics. Visé : une entreprise. Aurait protégé : raccrocher et rappeler le supérieur à un numéro connu avant tout virement.
- La visioconférence, 2024 Imités : plusieurs visages et voix, en vidéo. Visée : une entreprise. Aurait protégé : une procédure de vérification indépendante de la conversation, quel que soit le nombre de participants.
- L’appel du président, 2024 Imitée : la voix d’un responsable politique, très enregistrée. Visés : des électeurs. Enjeu : la démocratie. Aurait protégé : vérifier l’information auprès de sources officielles.
- Trois secondes, 2023 Montre la faible quantité d’enregistrement nécessaire. Une vidéo publiée sur un réseau social suffit. Réflexe : limiter les enregistrements de sa voix rendus publics.
- L’appel de détresse Imitée : la voix d’un proche. Visée : une famille. Aurait protégé : un mot de passe familial convenu à l’avance, et rappeler l’enfant directement.
- Les images intimes, 2024 Imité : un visage et un corps. Visées : surtout des femmes, célèbres ou non, y compris des élèves. En France, la diffusion est punie, plus sévèrement quand l’image est sexuelle. Réflexes : ne jamais partager, signaler, en parler, 3018.
- La voix retrouvée, 2022 Usage consenti et utile : la personne imitée a donné son accord et en bénéficie. Ce qui le rend acceptable : le consentement et la transparence.
- Le doublage Usage utile si la personne a donné son accord et si le public sait qu’il s’agit d’une traduction générée. Le règlement européen impose de signaler les contenus ainsi produits.
Trace écrite
Les outils d’IA peuvent imiter une voix, un visage ou une vidéo à partir de très peu d’enregistrements, parfois quelques secondes. On parle d’hypertrucage.
Ces outils ont des usages utiles quand la personne imitée a donné son accord et que le public est informé. Ils servent aussi à des arnaques, à la manipulation de l’information et au harcèlement, qui vise surtout des femmes.
Réflexes : se méfier des demandes urgentes d’argent ou de code ; rappeler par un numéro connu ; convenir d’un mot de passe familial ; ne jamais fabriquer ni partager l’hypertrucage d’une personne réelle ; signaler. La loi punit la diffusion d’un hypertrucage sans consentement.
Vérification
À projeter ou à lire en fin de séance. La réponse s’affiche en cliquant sur « Réponse ».
-
Combien d’enregistrement faut-il, au minimum, pour imiter une voix avec certains modèles récents ?
- APlusieurs heures.
- BQuelques secondes.
- CC’est impossible.
Réponse
B. Un modèle de recherche présenté en 2023 se contentait de trois secondes. Une courte vidéo publiée en ligne peut suffire.
-
Un proche t’appelle, paniqué, et demande de l’argent tout de suite. Que faire ?
- AEnvoyer l’argent vite, c’est urgent.
- BRaccrocher et le rappeler à son numéro habituel, ou poser la question du mot de passe familial.
- CLui demander de répéter pour mieux reconnaître sa voix.
Réponse
B. La voix ne prouve plus l’identité. L’urgence et l’argent sont les signes d’une arnaque ; un rappel par un autre canal suffit à la déjouer.
-
Qu’est-ce qui rend acceptable l’usage d’une voix imitée, comme celle de Val Kilmer ?
- ALa qualité de l’imitation.
- BLe consentement de la personne imitée et l’information du public.
- CLe fait qu’il s’agisse d’une célébrité.
Réponse
B. Sans accord de la personne, même une imitation de bonne qualité ou bien intentionnée pose problème. Le règlement européen impose aussi de signaler les contenus générés.
-
Un camarade fabrique et partage une image truquée d’une élève. Que dit la loi ?
- ARien, ce n’est qu’une blague.
- BLa diffusion d’un hypertrucage sans consentement est punie, plus sévèrement encore s’il est à caractère sexuel.
- CC’est autorisé si l’image n’est pas réaliste.
Réponse
B. La loi française du 21 mai 2024 a renforcé les sanctions. Il faut signaler, en parler à un adulte, et la victime peut appeler le 3018.
Questions difficiles
Questions d’élèves embarrassantes, avec une réponse possible.
Alors on ne peut plus croire aucune vidéo ?
On ne peut plus croire une vidéo ou une voix seule, sans contexte. On s’appuie sur la source : qui la publie, où, et si d’autres sources fiables la confirment. C’est l’objet de la séance 20. Le risque inverse existe aussi : rejeter une vraie vidéo en prétendant qu’elle est truquée.
Pourquoi les entreprises publient-elles des outils aussi dangereux ?
Certaines ne les publient pas, comme Microsoft pour son modèle de 2023. D’autres les proposent avec des garde-fous : vérification de l’accord de la personne, marquage des contenus. Mais des outils libres existent, et les garde-fous se contournent. La loi et l’éducation complètent la technique.
Et si c’est pour rire, entre amis ?
L’imitation d’une personne réelle sans son accord peut la blesser, circuler bien au-delà du groupe et être utilisée contre elle. La loi ne fait pas d’exception pour la plaisanterie dès qu’il y a diffusion sans consentement. Le bon réflexe : ne pas le faire, et ne pas partager.
Comment protéger sa voix et son visage ?
On ne peut pas tout empêcher, mais on peut limiter : réfléchir avant de publier des vidéos où l’on parle, régler la visibilité de ses comptes, convenir d’un mot de passe familial. Et savoir qu’en cas d’hypertrucage, on n’est pas responsable et qu’on peut être aidé.