Onderzoekers hebben een nieuw theoretisch kader ontwikkeld om AI-agenten effectiever te controleren, waarbij een combinatie van snelle actiecontrole en trage revisie van persistente wijzigingen zorgt voor een significante vermindering van afwijkingen in het gedrag.
Het toezicht op autonome AI-agenten vormt een groeiende uitdaging voor ontwikkelaars. Een specifiek probleem is dat agenten individuele taken succesvol kunnen afronden en controles kunnen passeren, terwijl ze ondertussen geheugenopslagsels of codeaanpassingen maken die hun toekomstige gedrag ongemerkt beïnvloeden. Om dit aan te pakken, hebben Stephen Peng en collega's een controlestuursysteem geïntroduceerd dat is gebaseerd op de controlestheorie.
Een duaal systeem van 'Snel' en 'Langzaam'
Het voorgestelde raamwerk, beschreven in de publicatie arxiv.org, maakt gebruik van twee verschillende controlelussen die complementair aan elkaar werken. De eerste is een 'snelle lus', die zich richt op het direct controleren van voorgestelde acties. De tweede is een 'langzame lus', die specifiek is ontworpen om persistente wijzigingen te beoordelen en configuraties opnieuw te evalueren wanneer er updates plaatsvinden aan het model of de gebruikte tools.
Volgens de auteurs van het onderzoek op stelt dit systeem ontwikkelaars en auditors in staat om toezichtontwerpen te vergelijken en af te dwingen. Wanneer meetfouten en wijzigingen tussen de controles begrensd zijn, kan het kader een specifieke regel bieden voor de verdeling van de inspanningen bij de review.
Significante resultaten in simulaties en stresstests
De effectiviteit van dit gecombineerde systeem is getest in verschillende scenario's. In simulaties bleek dat het verdelen van een vastgesteld reviewbudget over beide lussen de gemiddelde maximale afwijking van het beoogde gedrag ongeveer twaalfvoudig verminderde in vergelijking met controles die enkel beperkt bleven tot individuele runs, aldus de details in de .
Daarnaast zijn er specifieke stresstests uitgevoerd op het gebied van codering en handel:
- Coderingstests: Bij tests met geautoriseerde geheugens en vijf matchende seeds zorgden de gecombineerde controles ervoor dat de gemiddelde ernst van problemen (op een schaal van 0 tot 3) daalde van 0,325 zonder poorten naar 0,117 met poorten. In deze setting werden 33 van de 120 problemen opgelost, tegenover 35 zonder de inzet van poorten, zoals vermeld op .
- Handelstests: In scenario's gericht op handel bleek het systeem zeer effectief in het beperken van tekortkomingen bij aankopen met lage emissies. De gemiddelde shortfall daalde hier van 0,892 zonder controlepoorten naar 0,107 met het nieuwe kader, volgens de .
Implicaties voor AI-veiligheid
Het raamwerk biedt een methodiek waarbij de agent-studies zich kunnen concentreren op de controle van individuele componenten, in plaats van direct een volledige garantie op het niveau van de volledige implementatie te moeten bieden. Dit maakt het proces van auditing en validatie van AI-systemen over langere trajecten beheersbaar.
Het onderzoek, dat op 5 november 2026 werd ingediend bij , onderstreept de noodzaak van structureel toezicht dat verder kijkt dan de directe output van een AI-model, maar ook de interne staat en persistente wijzigingen van de agent monitort.