Onderzoekers hebben een kritiek beveiligingsrisico ontdekt bij mobiele AI-agenten, waarbij kwaadwillenden acties van deze agenten kunnen sturen via interface-elementen die voor menselijke gebruikers onzichtbaar zijn.
Een recent onderzoek, gepubliceerd op het preprint-platform arxiv.org, legt een fenomeen bloot dat de auteurs "human-agent UI desynchronization" noemen. Dit houdt in dat er een kloof ontstaat tussen wat een menselijke gebruiker ziet op het scherm van een smartphone en wat een AI-agent waarneemt wanneer deze de interface analyseert om taken uit te voeren.
Het mechanisme van desynchronisatie
Mobiele agenten vertrouwen vaak op screenshots of toegankelijkheidsmetadata om te begrijpen waar ze zich in een applicatie bevinden en welke acties ze moeten ondernemen. De onderzoekers, waaronder Heng Li en Fulin Zhao, hebben aangetoond dat aanvallers dit proces kunnen manipuleren door specifieke verstoringen in applicaties te implementeren nog voordat deze worden uitgerold.
Volgens de publicatie op zijn er twee primaire methoden om deze misleidende signalen te creëren:
1. Verborgen regio's: Inhoud die wordt gerenderd in delen van het scherm die voor de gebruiker occlusie vertonen (afgeschermd zijn), maar die wel zichtbaar blijven voor agenten die screenshots analyseren onder specifieke apparaatconfiguraties.
2. Laag contrast: Tekst met een zeer laag contrast die voor het menselijk oog nauwelijks waarneembaar is, maar die in de digitale representatie van een screenshot wel duidelijk gecodeerd blijft en door de AI wordt herkend.
Impact en testresultaten
Om de effectiviteit van deze aanval te testen, ontwikkelden de onderzoekers een geautomatiseerd framework dat specifieke perturbatiestrategieën zoekt en optimaliseert voor diverse taken. In een benchmark die bestond uit 546 taken verspreid over 13 verschillende applicaties, werden vijf agent-frameworks en drie backbone-modellen geëvalueerd.
De resultaten zijn volgens de zorgwekkend. In statische evaluaties van de observatieruimte bereikten de aanvallen een gemiddeld misleidingspercentage van 77,4%. Bij dynamische evaluaties op applicatieniveau, waarbij succes werd gedefinieerd als het selecteren van een door de aanvaller aangewezen 'decoy control' (een misleidend bedieningselement), lag dit percentage op 67,2%.
Om de menselijke waarneming te toetsen, werden 195 deelnemers gevraagd de visuele verstoringen te beoordelen. Hieruit bleek dat geen enkele deelnemer spontaan de tekst met laag contrast opmerkte, terwijl de AI-agenten hier wel op reageerden.
Context van mobiele agenten
De opkomst van AI-agenten die autonoom handelingen kunnen verrichten op mobiele apparaten neemt toe. Diensten zoals agents-anywhere.com maken het mogelijk om AI-agenten zoals Codex, Claude Code of DeepSeek te koppelen aan mobiele apparaten, waardoor gebruikers taken op hun werkcomputer kunnen starten en de voortgang of interactie via een smartphone kunnen beheren.
Hoewel dergelijke platforms streven naar een naadloze integratie tussen desktop en mobiel, benadrukt het onderzoek dat de visuele representatie van de interface een zwakke plek vormt. Wanneer een agent acties uitvoert op basis van inhoud die de gebruiker niet kan zien, wordt het voor de mens onmogelijk om het gedrag van de agent effectief te controleren of te overzien.
De onderzoekers concluderen dat deze beveiligingsgap betekent dat onopvallende inhoud in een applicatie gedelegeerde acties kan ombuigen, zelfs zonder dat de aanval tijdens de runtime hoeft te worden aangepast aan de specifieke instructies van de gebruiker.