Onderzoekers hebben een nieuwe methode ontwikkeld, genaamd KidnapRAG, waarmee kwaadwillenden het redeneerproces van geavanceerde AI-systemen kunnen manipuleren. De aanval richt zich op zogenaamde 'Agentic' Retrieval-Augmented Generation (RAG) systemen via een black-box methode, waarbij de aanvaller geen toegang nodig heeft tot de interne parameters van het model.
Retrieval-Augmented Generation (RAG) is een techniek waarbij AI-modellen externe documenten raadplegen om accuratere antwoorden te genereren. Moderne 'Agentic' RAG-systemen zijn ontworpen om robuuster te zijn tegen zogenaamde 'poisoning attacks' — het injecteren van malafide documenten. Omdat deze systemen iteratief werken (ze zoeken, redeneren en zoeken opnieuw), kunnen ze minder relevante of verdachte documenten doorgaans negeren en de oorspronkelijke logische lijn van de gebruiker volgen.
Volgens een publicatie op arxiv.org door Chanwoo Choi en collega's is deze robuustheid echter niet absoluut. De onderzoekers presenteren KidnapRAG, een aanval die specifiek is ontworpen om de multi-stap redeneerketen van een AI-agent te kapen zonder dat de aanvaller toegang heeft tot systeemprompts, modelparameters of de interne retriever.
De werking van de aanval: Bait, Chain-Link en Mal-Ins
De KidnapRAG-methode werkt via een sequentiële poisoning-strategie. In plaats van één enkel malafide document te gebruiken, zet de aanvaller drie specifieke rollen in om de AI stapsgewijs te misleiden. Zoals beschreven door shortspan.ai, verloopt dit proces als volgt:
- Bait (Lokaas): Er wordt een document geplaatst dat relevant lijkt voor de oorspronkelijke vraag van de gebruiker, maar dat de AI subtiel richting een specifiek, zeldzaam zijonderwerp duwt.
- Chain-Link (Kettingschakel): Deze documenten zorgen ervoor dat de AI-agent de 'juiste' vervolgvragen blijft stellen. Hierdoor wordt de agent steeds dieper in de door de aanvaller gecreëerde informatiebronnen getrokken, een proces dat ook wel 'chain dragging' wordt genoemd.
- Mal-Ins (Malafide Instructies): In de laatste fase biedt dit document het bewijs of de conclusie die de aanvaller wil forceren, waardoor de AI dit als definitief antwoord overneemt.
Door deze opeenvolging wordt de oorspronkelijke zoekintentie van de gebruiker geleidelijk verzwakt en wordt het gedrag van de retriever volledig omgebogen naar de content van de aanvaller.
Resultaten en impact
De effectiviteit van KidnapRAG is getest over verschillende LLM-backbones en Agentic RAG-frameworks. Uit de experimenten blijkt dat deze methode consistent beter presteert dan bestaande poisoning-baselines onder black-box condities. Volgens de samenvatting op arxivtldr.org legt het onderzoek bloot dat zelfs geavanceerde systemen kwetsbaar zijn voor externe documentpublicatie, wat een kritiek beveiligingsrisico vormt voor bedrijven die dergelijke AI-agenten implementeren.
De aanval is bijzonder gevaarlijk omdat deze stealthier is onder moderatie-controles. De aanvaller hoeft enkel publieke pagina's te publiceren die door de AI worden geïndexeerd en te observeren welke sub-queries de agent stelt om de Bait- en Chain-Link-documenten te optimaliseren.
De volledige code van het onderzoek is publiekelijk beschikbaar gesteld via github.com om verdere analyse en het ontwikkelen van tegenmaatregelen te stimuleren. Het onderzoek is inmiddels geaccepteerd voor de hoofdconferentie van EMNLP 2026, zoals vermeld in de metadata van sota2.com.