Deepfake Forensics expliqué : comment fonctionne réellement la détection vidéo par IA

La détection de vidéos deepfake est beaucoup plus complexe que la détection d'images ou d'audio générés par l'IA, car la vidéo ajoute une dimension temporelle : non seulement chaque image doit être analysée individuellement, mais les relations entre les images doivent être évaluées pour en assurer la cohérence. Une seule image manipulée dans une vidéo par ailleurs authentique laisse des traces très différentes de celles d’un clip entièrement synthétique. Comprendre ce que fait réellement l’analyse vidéo médico-légale met en lumière à la fois ses capacités et ses limites.

Les deux catégories de fausses vidéos

Avant de plonger dans les méthodes de détection, il convient de distinguer les deux principales catégories de vidéos manipulées. La première est le remplacement du visage ou l'échange de visage : prendre de véritables séquences vidéo et remplacer le visage d'une personne par celui d'une autre. Il s’agit de la forme originale du deepfake et elle reste courante. La seconde est la synthèse complète : générer du contenu vidéo entièrement à partir de zéro en utilisant des modèles comme Sora, Kling ou Runway, sans aucune séquence originale comme base. Ces deux catégories laissent des traces médico-légales différentes et nécessitent des approches de détection quelque peu différentes.

Analyse au niveau de la trame : artefacts GAN

Les réseaux contradictoires génératifs (GAN), qui sous-tendent de nombreuses techniques d’échange de visages deepfake, produisent des artefacts caractéristiques au niveau de la trame. Le discriminateur du GAN est formé pour empêcher le générateur de produire un résultat irréaliste, mais le processus de formation crée une sorte d'équilibre qui laisse des empreintes digitales spécifiques. Ceux-ci incluent : le bruit structuré dans les régions qui doivent être lisses (en particulier dans les zones de couleur uniforme comme le ciel ou la peau) ; des modèles caractéristiques dans la façon dont les détails haute fréquence sont rendus qui diffèrent de l'optique de la caméra ; et des anomalies spécifiques de distribution des couleurs dans la région du visage qui résultent du processus de composition.

Cohérence temporelle : le révélateur spécifique à la vidéo

Le signal médico-légal le plus puissant dans la vidéo est l'incohérence temporelle, c'est-à-dire les endroits où le contenu ne circule pas naturellement d'une image à l'autre. Les séquences vidéo réelles sont filmées à une fréquence d'images constante, avec un flou de mouvement constant, un bruit de capteur cohérent et des changements d'éclairage cohérents. Lorsqu’un visage est remplacé image par image par un réseau neuronal, le remplacement introduit de subtiles incohérences qui s’accumulent au fil du temps. Le visage synthétique peut présenter des caractéristiques de bruit légèrement différentes de celles de la vidéo environnante, l'éclairage peut ne pas se mettre à jour correctement entre les images et les limites entre le visage synthétique et l'arrière-plan réel peuvent scintiller de manière subtile mais statistiquement anormale.

Analyse des mouvements oculaires et des clignements

Les mouvements oculaires humains suivent des schémas spécifiques et prévisibles. Les saccades (mouvements oculaires rapides) suivent des trajectoires et des durées caractéristiques. Les microsaccades (minuscules mouvements oculaires involontaires) sont présentes dans les images réelles à un rythme spécifique. La durée et la fréquence des clignements sont irrégulières mais dans une plage normale. De nombreux modèles deepfake ont du mal à synthétiser des mouvements oculaires convaincants, soit en produisant des yeux trop immobiles, qui suivent des trajectoires non naturelles lors des saccades, ou qui clignent des yeux à intervalles étrangement réguliers. L’analyse image par image du comportement oculaire est l’un des tests les plus discriminants pour les deepfakes par échange de visage.

Cohérence de l'éclairage sur toute la scène

L'éclairage d'une vidéo réelle change de manière continue et cohérente sur l'ensemble de l'image. Si une source de lumière bouge, s'éclaircit ou change de température de couleur, chaque surface de la scène est affectée en fonction de sa géométrie et de sa réflectance. Les remplacements de visages Deepfake ne parviennent parfois pas à mettre à jour correctement l'éclairage du visage synthétique par rapport à la scène, produisant des visages qui semblent exister dans des conditions d'éclairage subtilement différentes de celles de l'environnement. Ceci est plus visible dans les scènes avec un éclairage dynamique – concerts, véhicules en mouvement, écrans scintillants – où l'éclairage change rapidement et le modèle deepfake ne peut pas suivre le rythme.

Synchronisation audiovisuelle

Lorsque la vidéo deepfake inclut de la parole, la synchronisation entre le mouvement des lèvres et l’audio est un signal médico-légal important. La vraie parole implique une coordination précise entre la respiration, les vibrations des cordes vocales et l’articulation. La synthèse Deepfake doit soit générer à la fois de l’audio et de la vidéo simultanément, soit aligner des composants générés séparément – ​​les deux approches peuvent produire une désynchronisation subtile. L'analyse médico-légale mesure les relations temporelles au niveau de la milliseconde entre les événements audio (en particulier les consonnes stop comme « p », « b », « t » et « k » qui produisent des salves acoustiques) et les événements d'articulation visuelle correspondants.

Analyse des artefacts de compression

La compression vidéo (H.264, H.265, VP9) fonctionne en stockant les différences entre les images plutôt que les données complètes des images. L'algorithme de compression fait des prédictions sur la façon dont les pixels changeront d'une image à l'autre et stocke uniquement les erreurs de prédiction. Lorsqu'un visage a été remplacé synthétiquement, la région autour de la limite de remplacement se comporte différemment sous compression que la séquence originale environnante : les erreurs de prédiction de compression sont plus importantes et plus structurées dans la région deepfake que dans la vidéo originale. Cette analyse du domaine de compression peut détecter les manipulations même lorsque la qualité visuelle est suffisamment élevée pour tromper les observateurs humains.

Vidéo entièrement synthétique

La détection de vidéos entièrement synthétiques à partir d'outils comme Sora ou Kling est à certains égards plus facile et à d'autres égards plus difficile que la détection des échanges de visages. La vidéo entièrement synthétique ne présente pas les incohérences introduites par la composition de contenu réel et synthétique, mais elle présente les artefacts de génération caractéristiques des modèles vidéo basés sur la diffusion : une physique des objets légèrement inhabituelle (l'eau, le feu et le tissu se déplacent d'une manière approximativement correcte mais pas physiquement précise), des éléments d'arrière-plan qui ne maintiennent pas de continuité entre les coupures et des caractéristiques de texture subtiles mais omniprésentes qui sont spécifiques à la formation de chaque système de génération.

Implications pratiques

Pour quiconque évalue des preuves vidéo (journalistes, professionnels du droit, modérateurs de contenu ou chercheurs en sécurité), le point pratique clé est qu’aucun signal médico-légal n’est suffisant à lui seul. La détection la plus fiable combine plusieurs méthodes d'analyse indépendantes : analyse des artefacts au niveau de l'image, score de cohérence temporelle, analyse des mouvements oculaires, mesure de synchronisation audiovisuelle et examen des artefacts de compression. Le pipeline d'analyse vidéo de SUS IT applique cette approche multidimensionnelle, en examinant à la fois les images individuelles et les modèles temporels sur toute la durée du clip. Le résultat est un verdict pondéré en fonction de la confiance qui reflète la convergence de plusieurs signaux indépendants plutôt que d’un seul test.