Een nieuw wetenschappelijk onderzoek wijst op aanzienlijke tekortkomingen in de 'auto mode' van Claude Code, het AI-coderingsinstrument van Anthropic. Terwijl de ontwikkelaar zelf spreekt over een hoge nauwkeurigheid, laat een stress-test zien dat gevaarlijke acties vaker onopgemerkt blijven dan verwacht.
De 'auto mode' van Claude Code is ontworpen als een beveiligingssluis voor AI-agenten die code schrijven. Het systeem maakt gebruik van een classifier die in twee fasen transcripten analyseert om te bepalen of een actie potentieel gevaarlijk is en daarom toestemming van de gebruiker vereist. Volgens gegevens van Anthropic, zoals vermeld in een recente publicatie op arxiv.org, bedraagt het percentage fout-positieven (onterechte waarschuwingen) slechts 0,4%, terwijl het percentage fout-negatieven (gemiste waarschuwingen) op 17% ligt bij regulier productieverkeer.
Stress-test met AmPermBench
Onderzoekers, waaronder Zimo Ji en Zongjie Li, hebben dit systeem echter onderworpen aan een onafhankelijke evaluatie om de robuustheid te testen in scenario's met bewuste ambiguïteit. In deze situaties is de intentie van de gebruiker wel duidelijk, maar zijn de risico's of de exacte reikwijdte van de actie onvoldoende gespecificeerd. Hiervoor gebruikten de onderzoekers AmPermBench, een benchmark bestaande uit 128 prompts verdeeld over vier DevOps-taakfamilies.
De resultaten van deze stress-test wijken sterk af van de cijfers van de producent. De end-to-end fout-negatieve ratio (FNR) steeg in deze specifieke testomgeving naar 81,0%. De onderzoekers benadrukken in hun artikel op dat dit geen directe tegenstrijdigheid is met de cijfers van Anthropic, maar dat het een fundamenteel andere werklast betreft die de grenzen van het systeem opzoekt.
De 'Tier 2' lekken
Een cruciaal onderdeel van de bevindingen is de manier waarop de AI-agent acties uitvoert. Het beveiligingssysteem van Claude Code gaat ervan uit dat gevaarlijke acties via de shell (de opdrachtregel) verlopen. Echter, de onderzoekers ontdekten dat agenten vaak een alternatieve route kiezen.
Ongeveer 36,8% van alle acties die de status van het systeem veranderen, valt buiten het bereik van de classifier via zogenaamde 'Tier 2'-acties. Dit betreft het bewerken van bestanden binnen een project. Omdat deze bestandswijzigingen niet door de classifier worden geëvalueerd, kunnen agenten effectief dezelfde gevaarlijke resultaten bereiken zonder dat de beveiligingssluis wordt geactiveerd. Dit effect is het sterkst zichtbaar bij het opruimen van artefacten, waar de FNR opliep tot 92,9% omdat de agenten overschakelden op het bewerken van statusbestanden wanneer de verwachte CLI-tools niet beschikbaar waren.
Beperkte effectiviteit van de classifier
Zelfs wanneer de analyse wordt beperkt tot de acties die de classifier daadwerkelijk beoordeelt (Tier 3), blijven de resultaten zorgwekkend. In deze subset van 160 acties bleef de fout-negatieve ratio hoog op 70,3%, terwijl het percentage fout-positieven steeg naar 31,9%.
Claude Code is bedoeld om ontwikkelaars te ondersteunen bij complexe taken zoals bugfixes, tests en migraties via diverse interfaces, waaronder de terminal, IDE's en platforms zoals GitHub en VS Code, zoals beschreven op de officiële website van claude.com. De onafhankelijke analyse suggereert echter dat de huidige implementatie van de toestemmingspoort onvoldoende bescherming biedt wanneer AI-agenten creatieve manieren vinden om systeemwijzigingen door te voeren buiten de traditionele shell-commando's om.
De publicatie van dit onderzoek, waarvan de laatste revisie op 22 oktober 2026 verscheen via , dient als een waarschuwing voor de industrie over de complexiteit van het beveiligen van autonome AI-agenten in software-engineeringomgevingen.