Onderzoekers hebben een nieuwe techniek ontwikkeld die natuurkundige eigenschappen van afbeeldingen gebruikt om synthetische content effectiever te onderscheiden van echte foto's. De methode richt zich op stabiele fysieke kenmerken in plaats van specifieke fouten van bepaalde AI-generatoren.
Het onderscheid tussen natuurlijke beelden en door kunstmatige intelligentie gegenereerde content (AIGC) wordt steeds kleiner. Volgens een recent onderzoek van Mei Qiu, gepubliceerd op arxiv.org, kampen huidige detectiesystemen vaak met een gebrek aan generalisatie. Veel bestaande tools vertrouwen namelijk op specifieke artefacten die kenmerkend zijn voor één bepaald generatieve model, waardoor ze minder effectief zijn bij het herkennen van beelden uit onbekende of nieuwe modellen.
Focus op fysieke eigenschappen
Om dit probleem op te lossen, stelt het onderzoek de vraag welke intrinsieke fysieke kenmerken van een afbeelding stabiele en onderscheidende aanwijzingen bieden om echt van nep te scheiden. In het onderzoek werden vijftien handmatig samengestelde fysieke beschrijvers geanalyseerd over beelden afkomstig van meer dan twintig verschillende generatieve modellen.
Om de meest betrouwbare kenmerken te selecteren, introduceerde de onderzoeker de Feature Stability-Discriminability Validation Assessment (FSDVA). Via deze methode werd een compacte set van vijf kernkenmerken geïdentificeerd die zowel stabiel zijn over verschillende generatoren als effectief zijn in het onderscheiden van echte en synthetische beelden. Tot deze selectie behoren onder andere de variantie van de Laplacian, Sobel-statistieken en de variantie van residuele ruis, zoals beschreven in de publicatie op .
Integratie van visuele en tekstuele data
De innovatie van deze aanpak ligt in de manier waarop deze fysieke data worden verwerkt. De geselecteerde kenmerken worden omgezet in gestructureerde tekstuele beschrijvingen. Deze beschrijvingen dienen als fysiek bewijs voor een leersysteem gebaseerd op CLIP (Contrastive Language-Image Pre-training).
Door gebruik te maken van een specifiek multimodal framework en de aanpassing van CLIP ViT-L 14 met behulp van LoRA (Low-Rank Adaptation), kunnen de fysiek verrijkte beschrijvingen worden geïntegreerd met de visuele representatie van de afbeelding. Een belangrijk praktisch voordeel van dit systeem is dat er tijdens de uiteindelijke detectiefase (inference) geen externe bijschriften of handmatige prompts nodig zijn; het model heeft enkel de inputafbeelding nodig om tot een oordeel te komen, meldt .
Resultaten en prestaties
De effectiviteit van de methode is getest op verschillende datasets. Op de GenImage-dataset behaalde het systeem een nauwkeurigheid van 99,0 procent voor beelden gegenereerd door SDv1.4 en 96,7 procent voor beelden van Wukong. Over acht verschillende generatieve modellen genomen, lag het gemiddelde nauwkeurigheidspercentage op 97,23 procent. Ter vergelijking scoorde het C2pCLIP-model onder dezelfde omstandigheden 95,8 procent, aldus de data op .
Daarnaast vertoonde het model een sterke en stabiele generalisatie op de UniversalFakeDetect-dataset, zelfs bij diverse en voorheen onbekende generatie-instellingen. Dit suggereert dat de combinatie van natuurkundige statistieken en visuele taalrepresentaties een meer interpreteerbare en model-onafhankelijke manier biedt om AI-gegenereerde content te detecteren.
Hoewel externe platforms zoals pixabay.com vaak dienen als bron voor afbeeldingen, benadrukt dit onderzoek dat de forensische analyse van pixels en de vertaling daarvan naar taalgestuurde prompts een cruciale stap is in de strijd tegen digitale misleiding. De resultaten tonen aan dat fysieke beeldstatistieken complementaire bewijslast leveren die essentieel is voor een robuuste detectie van synthetische media.