Een nieuwe wetenschappelijke studie werpt licht op de complexiteit van zelfevoluerende Large Language Model (LLM) agents. Uit het onderzoek blijkt dat het vermogen om verbeteringen voor een systeem te formuleren niet noodzakelijkerwijs betekent dat het systeem die verbeteringen ook effectief kan toepassen.
In de huidige ontwikkeling van AI-agents worden systemen vaak opgebouwd rondom zogenaamde 'harnesses'. Dit zijn bewerkbare externe structuren, zoals prompts, vaardigheden, geheugens en tools, die de uitvoering van taken sturen zonder dat de fundamentele parameters van het model zelf worden gewijzigd. Wanneer een agent 'zelfevolueert', past hij deze harnesses aan op basis van bewijslast uit eerdere uitvoeringen.
Onderscheid tussen updating en benefit
In een recent onderzoek, dat is gepubliceerd via arxiv.org, maken onderzoekers een cruciaal onderscheid tussen twee verschillende capaciteiten binnen dit proces: harness-updating en harness-benefit.
Harness-updating verwijst naar het vermogen van een model om nuttige, blijvende updates voor de harness te genereren op basis van ervaringen. Harness-benefit is daarentegen het vermogen van een model om daadwerkelijk profijt te halen uit deze bijgewerkte harnesses tijdens het oplossen van taken.
De resultaten van de analyse tonen aan dat deze twee eigenschappen zich zeer verschillend gedragen naarmate de basiscapaciteiten van een model toenemen.
Verrassende gelijkenissen in update-kwaliteit
Een van de meest opvallende bevindingen is dat de kwaliteit van de gegenereerde updates relatief onafhankelijk is van de kracht van het model. Volgens de is de capaciteit voor harness-updating 'vlak' over verschillende niveaus van basiscapaciteit.
Dit betekent dat modellen uit verschillende prestatieniveaus updates produceren die leiden tot verrassend vergelijkbare winsten. In de studie wordt specifiek vermeld dat de updates van een relatief kleiner model, zoals Qwen3.5-9B, resultaten opleveren die vergelijkbaar zijn met die van het krachtigere Claude Opus.
De paradox van de sterkste modellen
Terwijl het creëren van updates voor bijna elk model lukt, is het benutten ervan een ander verhaal. De onderzoekers stelden vast dat harness-benefit niet lineair toeneemt met de kracht van het model.
- Zwakke modellen: Halen nauwelijks voordeel uit bijgewerkte harnesses.
- Middenklasse modellen: profiteren het meest van de updates.
- Sterke modellen: halen minder voordeel uit de updates dan de modellen in de middenklasse.
De lage winst bij zwakkere modellen wordt toegeschreven aan twee specifieke foutmodi. Enerzijds slagen deze modellen er vaak niet in om de relevante onderdelen van de harness te activeren. Anderzijds activeren ze de juiste onderdelen wel, maar falen ze in het strikt opvolgen van de instructies die daarin staan.
Implicaties voor AI-training
De conclusies van het onderzoek suggereren een verschuiving in hoe ontwikkelaars hun middelen moeten inzetten. In plaats van te investeren in de 'evolver' (het deel dat de updates bedenkt), zou de focus moeten liggen op de agent die de taken uitvoert. De auteurs adviseren om specifiek te trainen op het aanroepen van harnesses en het volgen van instructies over een langere tijdspanne.
Dit wetenschappelijke inzicht in de architectuur van AI-agents vindt plaats in een bredere context waarin autonome platforms voor softwareontwikkeling, zoals de harness.io, steeds vaker AI-agents inzetten voor taken zoals softwarelevering, beveiligingstesten en kostenbeheer. Hoewel commerciële platformen zoals zich richten op de praktische implementatie van AI-agents in de software-lifecycle, biedt het academische onderzoek van de theoretische basis om de efficiëntie van deze zelflerende systemen te optimaliseren.
Het onderzoek is officieel geaccepteerd voor de conferentie EMNLP 2026.