AI-agenten zijn kwetsbaarder dan gedacht. Onderzoekers van een nieuwe benchmark laten zien dat aanvallers de uitkomst van een AI-taak kunnen manipuleren zonder dat de taak zelf verandert. Deze 'task-tampering'-aanvallen blijken effectiever én moeilijker te detecteren dan traditionele methoden.
Rongting Zhang en collega's beschrijven de aanpak in een wetenschappelijk artikel op arxiv.org. Eerdere benchmarks richtten zich vooral op het omleiden van een AI-agent naar een volledig nieuwe taak, gekozen door de aanvaller. Dit onderzoek doet iets anders: het kijkt naar manipulatie van de resultaten binnen een taak die al loopt.
🧠 Even simpel uitgelegd
Stel dat je een slimme assistent vraagt om een aankoop te controleren en geld terug te geven. Een aanvaller kan dan stiekem nep-documenten toevoegen — bijvoorbeeld een verzonnen terugbetalingsbeleid. De assistent doet nog steeds wat je vroeg: een terugbetaling uitvoeren. Maar door de valse informatie beslist hij dat je méér geld krijgt dan je toekomt. De taak is niet gekaapt; de uitkomst is vergiftigd. Dat heet 'task-tampering'.
Manipulatie via valse autoriteit
De onderzoekers definiëren indirecte prompt-injectie (IPI) in dit kader niet langer op basis van instructie-achtige bewoordingen, maar op basis van autoriteit. Een aanval is volgens hen elke poging van externe content om een beslissing te beïnvloeden waar de bron van die content niet bevoegd voor is.
Een concreet voorbeeld uit de publicatie: een geschil over een aankoop. Een aanvaller levert bewijsstukken aan die verwijzen naar een vals terugbetalingsbeleid. Het doel is niet om de agent een andere taak te laten uitvoeren, maar om het terugbetaalde bedrag te verhogen door de besluitvorming te misleiden.
Wat de benchmark laat zien
De benchmark bestaat uit 90 gevalideerde scenario's, verspreid over drie verschillende omgevingen waarin AI-tools worden gebruikt. De aanvallen richten zich op zes onderdelen van het besluitvormingsproces van de agent:
- Het uiteindelijke doel (objective)
- De beslisregels
- De beschikbare acties
- De verwachte gevolgen
- De interpretatie van observaties
- De overtuigingen over de huidige staat
Tests met vijf verschillende Large Language Models (LLM's) lieten zien dat aanvallen op de beslisregels, de beschikbare acties en de huidige staat een hoger gemiddeld succespercentage hadden dan aanvallen die enkel het doel probeerden te wijzigen.
Huidige verdedigingen schieten tekort
Het onderzoek werpt een kritisch licht op bestaande beveiligingsmaatregelen. Een verdedigingsmethode gebaseerd op detectie en verwijdering reduceerde aanvallen op het doel weliswaar tot een succespercentage van 2,4%. Maar aanvallen op observaties en de status van de agent bleven hardnekkig: respectievelijk 9,5% en 12,1% succes.
Een 'tool-policy'-verdediging deed het nog slechter. Het succespercentage bleef daar steken op 15,4% — nauwelijks beter dan de 17,0% zonder enige verdediging. De reden: deze aanvallen gebruiken gewoon de verwachte tools, maar manipuleren de waarden die tijdens de uitvoering worden verkregen.
De auteurs concluderen dat evaluaties die alleen kijken naar het omleiden van taken of het wijzigen van het hoofddoel, de effectiviteit van huidige beveiligingen waarschijnlijk overschatten.