• TWEAK
• Software

Deepfakes: Øjnene afslører det

Ifølge computerforskere ved University of Buffalo er lysrefleksioner i øjet nøglen til at dechifrere, om den person, du ser på et givet billede eller video, er ægte eller en fancy deepfake.

Der findes et specielt værktøj, der automatisk kan identificere deepfake fotos ved at analysere lysrefleksioner i motivets øjne. Da dette værktøj blev brugt på portrætlignende fotos på tværs af en række eksperimenter, opnåede værktøjet 94% effektivitet.

Eksperimenter ved hjælp af værktøjet blev registreret på et papir, der blev accepteret på IEEE International Conference on Acoustics, Speech and Signal Processing, der finder sted i juni i Toronto. Artiklen, "Exposing GAN-Generated Faces Using Inconsistent Corneal Specular Highlights,", henviser til generative adversarial network (GAN) billeder, inklusive dem, der er oprettet ved brug af AI.

Værktøjet kombinerer data fra en række eksperimenter ved hjælp af falske billeder fra This Person Does Not Exist, en samling af AI-genererede ansigter og ægte fotos fra Flick Faces HQ. University of Buffalo forskernes værktøj blev brugt til at kortlægge ansigterne og derefter undersøge hele øjet såvel som det lys, der reflekteres indeni. Efter at have gjort det, tildeles det en score eller en lighedsmåling. Jo højere score, jo mere sandsynligt er det, at billedet er ægte. Omvendt, jo mindre antallet er, jo større chance er der for en deepfake.

Hovedforfatter Siwei Lyu, ph.d., hos Department of Computer Science and Engineering, beskriver hornhinden som en "perfect semisphere" og "very reflective." Lyu forklarede, at alt, hvad der kommer i øjet med lys, der udsendes fra forskellige kilder, vil skabe et billede på hornhinden. Det sammenlignes med, hvordan holdets værktøj kan registrere deepfakes fra rigtige fotos.

“The two eyes should have very similar reflective patterns because they’re seeing the same thing," Lyu elaborates. "It’s something that we typically don’t typically notice when we look at a face."

University of Buffalo arbejder på at optimere værktøjet, som kan blive et magtfuldt våben i krigen mod afsløring af deepfakes.

Source & Image credit:

neurosciencenews.com, Inputmag.com, scitechdaily.com, depositphotos.com