Een nieuw wetenschappelijk onderzoek onthult dat AI-agenten voor programmeren veel meer informatie naar hun onderliggende modellen sturen dan enkel de vraag van de gebruiker. Deze zogenaamde 'instruction stacks' beïnvloeden de output aanzienlijk, maar blijven voor de meeste gebruikers onzichtbaar.
In een recent onderzoek getiteld "Hidden in Plain Sight: an Empirical Study about The Instruction Stacks of Coding Agents" leggen onderzoekers bloot hoe moderne codeeragenten functioneren. Volgens de publicatie op arxiv.org sturen deze agenten een complexe stapel aan informatie mee bij elke aanvraag. Deze 'instruction stack' bestaat uit specifieke instructies, definities van beschikbare tools en context over de omgeving waarin de code moet werken.
De samenstelling van de 'Instruction Stack'
Het onderzoek maakt duidelijk dat het enkel rapporteren van het gebruikte model of het bekijken van de systeemprompt een onvolledig beeld geeft van wat er daadwerkelijk in een AI-agent gebeurt. De onderzoekers analyseerden hiervoor de eerste modelaanvragen van 1.886 verschillende releases van vijf prominente agenten: Claude Code, Codex, Gemini CLI, Qwen Code en OpenCode.
Uit de data blijkt dat tool-definities bij drie van de onderzochte agenten de overhand hebben in de meest recente aanvragen. Deze definities bepalen hoe de AI externe instrumenten moet aanwenden om taken uit te voeren. Daarnaast worden er regelmatig gerichte wijzigingen doorgevoerd in de instructies die betrekking hebben op de codestijl, de manier waarop bronnen worden toegeschreven (attributie) en het gebruik van tools.
Gevolgen voor onderzoek en transparantie
De bevindingen van de onderzoekers, waaronder Felipe de Sant'Anna Paixão en Dhyego Tavares, wijzen op een gebrek aan transparantie in de ontwikkeling van deze agenten. Volgens de studie op kunnen de voortdurende revisies van deze instructiestapels het voor externe onderzoekers bemoeilijken om te bepalen welke bijdragen daadwerkelijk door de agent zijn gegenereerd en hoe de resulterende code moet worden geïnterpreteerd.
Een opvallend resultaat is dat slechts 48% van de geanalyseerde wijzigingen in de instructies direct werd toegelicht met een motivatie. Dit betekent dat meer dan de helft van de aanpassingen in de sturing van de AI-agenten ongedocumenteerd blijft. Hoewel de bewoordingen tussen de verschillende agenten steeds uiteenlopender worden, ontstaan er wel gedeelde capaciteiten over de verschillende systemen heen.
Pleidooi voor betere documentatie
De auteurs van het onderzoek concluderen dat er een evoluerende laag in het ontwerp van AI-agenten is ontstaan die momenteel onvoldoende wordt gedocumenteerd. Om de reproduceerbaarheid en begrijpelijkheid van AI-gegenereerde code te vergroten, pleiten zij ervoor om de vastgelegde 'instruction stacks' systematisch te documenteren bij elke nieuwe release van een agent.
Naast de technische specificaties van het model en de prompts van de gebruiker, zou ook de rationale achter de revisies van deze instructies bewaard moeten blijven. Dit zou volgens de publicatie op leiden tot een completer begrip van hoe AI-agenten worden gestuurd en hoe hun gedrag over tijd verandert.
Het onderzoek is op 27 oktober 2026 ingediend en valt onder de categorie Software Engineering binnen de computerwetenschappen. De volledige details over de longitudinale studie en de analyse van de open-source agenten zijn beschikbaar via de .