Onderzoekers hebben AOS-Bench geïntroduceerd, een nieuwe evaluatiemethode die meet hoe goed AI-agents kunnen omgaan met dynamische werklasten. Uit de resultaten blijkt dat het vermogen om individuele taken op te lossen niet noodzakelijkerwijs correleert met het vermogen om meerdere gelijktijdige processen efficiënt te beheren.
Waar traditionele benchmarks voor coding agents vaak focussen op het oplossen van één specifieke taak in isolatie, verschuift de praktijk naar persistente assistenten. Gebruikers geven deze agents steeds vaker een continue stroom aan werk, zoals het gelijktijdig uitvoeren van een build, een data-processing job en het oplossen van een bug op dezelfde machine. Volgens een recent onderzoek gepubliceerd op arxiv.org moeten agents in deze scenario's beslissen wanneer ze nieuwe taken accepteren, hoe ze deze delegeren en hoe ze binnen de beschikbare CPU- en geheugenlimieten van de machine blijven.
De kloof tussen isolatie en stroom
De introductie van AOS-Bench laat zien dat succes bij geïsoleerde taken niet gelijkmatig wordt vertaald naar succes in een dynamische stroom. In het onderzoek werden vijf verschillende model-harness combinaties getest. Bij zware werklasten verloren alle systemen tussen de 13 en 23 punten in prestatie.
Opvallend is het verschil bij medium werklasten. Systemen die in isolatie slechts 11 punten uit elkaar lagen, vertoonden een verschil van 26 punten wanneer ze in een stroom werden getest. Twee systemen die in isolatie bijna identiek presteerden (met een verschil van slechts 0,6 punt), leverden in de praktijk respectievelijk 54% en 68% van dezelfde taken af. Dit bevestigt de claim van DeepPaper dat prestaties bij geïsoleerde taken een slechte voorspeller zijn voor de efficiëntie bij multitasking.
Analyse van workload management
De onderzoekers hebben gezocht naar de oorzaak van deze prestatiekloof via interventies in het uitvoeringsbeleid. Een groot deel van het probleem ligt bij de 'task intake'. Wanneer een systeem gebruikmaakt van seriële dispatch (het één voor één accepteren van taken), bleven bij zware werklasten maar liefst 73% van de taken onbeantwoord.
Interessant genoeg blijkt complexer management niet altijd de oplossing te zijn. Uit de data van papers.cool blijkt dat een eenvoudige, vaste concurrency van twee taken bijna net zo effectief was als de beste door de agent beheerde policy, met een verschil van slechts vier punten bij zowel medium als zware werklasten. Bovendien bleef het mediane CPU-gebruik onder elke geteste policy onder de 30% van de beschikbare cores, terwijl taken nog in de wachtrij stonden.
Methodologie en signalen
AOS-Bench positioneert de LLM-coding agent als een soort workload manager voor een besturingssysteem. De evaluatie richt zich op verschillende metrieken, waaronder de 'Task Success Rate' (SR), de doorvoersnelheid van beloonde taken, de totale executietijd en de frequentie van 'Out-of-Memory' (OOM) fouten, zoals beschreven in de technische documentatie op .
De wetenschappelijke impact van dit werk wordt verder onderstreept door arxivsignals.io, dat de benchmark beschrijft als een manier om LLM-coding agents te evalueren als beheerders van dynamische stromen van concurrente taken. De resultaten wijzen erop dat workload management een aparte capaciteit is die losstaat van de pure programmeerkennis van een model.
Het onderzoek, geschreven door onder meer Erle Zhu, Genrui Zhang en Keyang Hu, concludeert dat AOS-Bench een noodzakelijk instrument is om de transitie van enkelvoudige taakuitvoering naar complexe, persistente assistentie in kaart te brengen.