Wetenschappers hebben een methode ontwikkeld om Vision-Language Modellen (VLM's) op basis van CLIP te beschermen tegen zogenaamde 'typografische aanvallen'. Door specifieke circuits in het model te identificeren en te onderdrukken, kan de AI beter onderscheid maken tussen visuele objecten en tekst die in een afbeelding is geplaatst.
In een recent onderzoek, gepubliceerd op 1 november 2026, leggen onderzoekers Bohan Liu en collega's een fundamentele zwakte bloot in CLIP-gebaseerde systemen. Deze modellen zijn essentieel voor moderne multimodale systemen omdat ze zowel objecten kunnen herkennen als tekst kunnen lezen. Echter, deze dubbele capaciteit zorgt voor een problematische verstrengeling tussen de verwerking van lexicale vormen (letters) en semantische vormen (objecten).
De problematiek van typografische aanvallen
Deze verstrengeling maakt de modellen kwetsbaar voor typografische aanvallen. Bij een dergelijke aanval wordt tekst in een afbeelding geplaatst die de werkelijke visuele inhoud overrulet. Hierdoor negeert het model het object in de afbeelding en baseert het zijn classificatie puur op de letterlijke betekenis van de getoonde tekst. Volgens de publicatie op arxiv.org heeft het 'black-box'-karakter van deze encoders het tot nu toe bemoeilijkt om deze verstrengeling mechanistisch te begrijpen.
Een nieuwe aanpak via Sparse Dictionary Learning
Om dit probleem op te lossen, hebben de onderzoekers een architectuur geïntroduceerd genaamd 'head-decomposed Sparse Dictionary Learning' (SDL). Deze methode is ontworpen om individuele attention heads op te splitsen in interpreteerbare, head-specifieke latents.
Door gebruik te maken van deze ontkoppeling hebben de auteurs twee nieuwe methoden ontwikkeld om de problematische onderdelen van het model te lokaliseren zonder dat daarvoor labels nodig zijn:
1. Een herziene versie van de Clarity Score.
2. Een nieuw voorgestelde 'normalized Text Attribution Score'.
Beide instrumenten stellen de onderzoekers in staat om precies die attention heads te identificeren die verantwoordelijk zijn voor het verwerken van typografische informatie.
Significante verbeteringen in nauwkeurigheid
De effectiviteit van deze ontdekking werd getest via een mechanische interventie. Tijdens de testfase werd de aandacht van het model weggeleid van de patch-tokens in de geïdentificeerde lexicale heads. De resultaten, zoals beschreven in de , tonen aan dat objectclassificatie onder typografische aanvallen effectief wordt hersteld.
In experimenten met vijf verschillende CLIP-varianten en vier typografische benchmarks werd een verbetering tot 46,9% behaald. Opvallend is dat dit gebeurde met een minimaal verlies aan algemene beeldperceptie, dat niet meer dan 1% bedroeg. Hiermee presteert deze methode beter dan eerdere supervised en training-free benaderingen.
Toekomstige optimalisatie
Om de balans tussen robuustheid en algemene prestaties verder te optimaliseren, stellen de onderzoekers een 'test-time adaptive attention head routing' voor. Deze techniek moet de impact op de algemene prestaties verder verminderen terwijl de bescherming tegen tekstuele misleiding behouden blijft.
Hoewel dit onderzoek zich strikt richt op de technische architectuur van AI-modellen, is de bredere context van digitale presentatie en design relevant. Terwijl AI-onderzoekers werken aan het filteren van visuele ruis, richten commerciële platformen zoals canva.com zich op het faciliteren van grafisch ontwerp, waarbij tekst en beeld juist worden gecombineerd. Daarnaast tonen bedrijven zoals label.nl hoe visuele catalogi en productpresentaties in de praktijk worden ingezet, waarbij de juiste interpretatie van vorm en functie centraal staat.
Het onderzoek naar de typografische circuits van CLIP markeert een belangrijke stap in het begrijpen van hoe AI visuele informatie verwerkt en hoe deze systemen minder vatbaar kunnen worden gemaakt voor manipulatie via tekstuele overlays.