Spiegazione dell'analisi forense di Deepfake: come funziona effettivamente il rilevamento dell'intelligenza artificiale dei video

Rilevare video deepfake è sostanzialmente più complesso rispetto a rilevare immagini o audio generati dall’intelligenza artificiale, perché il video aggiunge una dimensione temporale: non solo ogni fotogramma deve essere analizzato individualmente, ma le relazioni tra i fotogrammi devono essere valutate per verificarne la coerenza. Un singolo fotogramma manipolato in un video altrimenti autentico lascia tracce molto diverse rispetto a una clip completamente sintetica. Comprendere cosa fa effettivamente l'analisi video forense ne mette in luce sia le capacità che i limiti.

Le due categorie di video falsi

Prima di addentrarci nei metodi di rilevamento, vale la pena distinguere le due principali categorie di video manipolati. Il primo è la sostituzione o lo scambio del volto: si acquisiscono riprese video autentiche e si sostituisce il volto di una persona con quello di un'altra. Questa era la forma originale di deepfake e rimane comune. Il secondo è la sintesi completa: generare contenuti video interamente da zero utilizzando modelli come Sora, Kling o Runway, senza filmati originali come base. Queste due categorie lasciano tracce forensi diverse e richiedono approcci di rilevamento leggermente diversi.

Analisi a livello di frame: artefatti GAN

Le reti generative avversarie (GAN), che sono alla base di molte tecniche di scambio di volti deepfake, producono artefatti caratteristici a livello di frame. Il discriminatore del GAN ​​è addestrato per impedire al generatore di produrre risultati non realistici, ma il processo di addestramento crea una sorta di equilibrio che lascia impronte specifiche. Questi includono: rumore strutturato in regioni che dovrebbero essere uniformi (in particolare in aree di colore uniforme come il cielo o la pelle); modelli caratteristici nel modo in cui vengono resi i dettagli ad alta frequenza che differiscono dall'ottica della fotocamera; e anomalie specifiche della distribuzione del colore nella regione del viso che risultano dal processo di composizione.

Coerenza temporale: il racconto video-specifico

Il segnale forense più potente nei video è l'incoerenza temporale, ovvero i luoghi in cui il contenuto non scorre in modo naturale da un fotogramma a quello successivo. Le riprese video reali vengono riprese con un frame rate costante, con motion blur coerente, rumore del sensore coerente e cambiamenti di illuminazione coerenti. Quando un volto viene sostituito fotogramma per fotogramma da una rete neurale, la sostituzione introduce sottili incoerenze che si accumulano nel tempo. Il volto sintetico potrebbe presentare caratteristiche di rumore leggermente diverse rispetto al video circostante, l'illuminazione potrebbe non aggiornarsi correttamente tra i fotogrammi e i confini tra il volto sintetico e lo sfondo reale potrebbero sfarfallare in modi sottili ma statisticamente anomali.

Analisi dei movimenti oculari e del battito delle palpebre

Il movimento dell'occhio umano ha schemi specifici e prevedibili. Le saccadi (movimenti oculari rapidi) seguono traiettorie e durate caratteristiche. Le microsaccadi (minuscoli movimenti oculari involontari) sono presenti nelle riprese reali a una velocità specifica. La durata e la frequenza del battito di ciglia sono irregolari ma entro un intervallo normale. Molti modelli deepfake faticano a sintetizzare movimenti oculari convincenti, producendo occhi troppo immobili, che seguono traiettorie innaturali durante le saccadi o che sbattono le palpebre a intervalli sospettosamente regolari. L’analisi fotogramma per fotogramma del comportamento degli occhi è uno dei test più discriminanti per i deepfake con scambio di volti.

Coerenza dell'illuminazione in tutta la scena

L'illuminazione nel video reale cambia continuamente e in modo coerente nell'intero fotogramma. Se una sorgente luminosa si sposta, si illumina o cambia la temperatura del colore, ogni superficie nella scena viene influenzata in base alla sua geometria e riflettanza. Le sostituzioni dei volti deepfake a volte non riescono ad aggiornare correttamente l'illuminazione del volto sintetico rispetto alla scena, producendo volti che sembrano esistere in condizioni di illuminazione leggermente diverse rispetto all'ambiente circostante. Ciò è più visibile nelle scene con illuminazione dinamica – concerti, veicoli in movimento, schermi tremolanti – dove l’illuminazione cambia rapidamente e il modello deepfake non riesce a tenere il passo.

Sincronizzazione audiovisiva

Quando il video deepfake include il parlato, la sincronizzazione tra il movimento delle labbra e l'audio è un importante segnale forense. Il vero discorso implica una precisa coordinazione tra respiro, vibrazione delle corde vocali e articolazione. La sintesi deepfake deve generare sia audio che video contemporaneamente o allineare componenti generati separatamente: entrambi gli approcci possono produrre una sottile desincronizzazione. L'analisi forense misura le relazioni temporali a livello di millisecondo tra eventi audio (in particolare le consonanti stop come "p", "b", "t" e "k" che producono esplosioni acustiche) e i corrispondenti eventi di articolazione visiva.

Analisi degli artefatti di compressione

La compressione video (H.264, H.265, VP9) funziona memorizzando le differenze tra i fotogrammi anziché i dati completi dei fotogrammi. L'algoritmo di compressione prevede il modo in cui i pixel cambieranno da un fotogramma all'altro e memorizza solo gli errori di previsione. Quando un volto è stato sostituito sinteticamente, la regione attorno al confine di sostituzione si comporta diversamente sotto compressione rispetto al filmato originale circostante: gli errori di previsione della compressione sono più grandi e più strutturati nella regione deepfake rispetto al video originale. Questa analisi del dominio di compressione può rilevare manipolazioni anche quando la qualità visiva è sufficientemente elevata da ingannare gli osservatori umani.

Video completamente sintetico

Rilevare video completamente sintetici da strumenti come Sora o Kling è in qualche modo più semplice e in altri modi più difficile che rilevare gli scambi di volti. Il video completamente sintetico non presenta le incoerenze introdotte dalla composizione di contenuto reale e sintetico, ma mostra i caratteristici artefatti di generazione dei modelli video basati sulla diffusione: fisica degli oggetti leggermente insolita (acqua, fuoco e stoffa si muovono in modi approssimativamente corretti ma non fisicamente precisi), elementi di sfondo che non mantengono la continuità tra i tagli e caratteristiche di trama sottili ma pervasive che sono specifiche per l'addestramento di ciascun sistema di generazione.

Implicazioni pratiche

Per chiunque valuti prove video (giornalisti, professionisti legali, moderatori di contenuti o ricercatori nel campo della sicurezza) il punto pratico chiave è che nessun singolo segnale forense è sufficiente da solo. Il rilevamento più affidabile combina più metodi di analisi indipendenti: analisi degli artefatti a livello di fotogramma, punteggio di coerenza temporale, analisi dei movimenti oculari, misurazione della sincronizzazione audiovisiva ed esame degli artefatti di compressione. La pipeline di analisi video di SUS IT applica questo approccio multidimensionale, esaminando sia i singoli fotogrammi che i modelli temporali per l'intera durata della clip. Il risultato è un verdetto ponderato in base alla confidenza che riflette la convergenza di più segnali indipendenti piuttosto che di ogni singolo test.