Een team van wetenschappers heeft een nieuwe evaluatiemethode genaamd Realtime-Bench ontwikkeld om de prestaties van geavanceerde AI-modellen in dynamische situaties te testen. Uit het onderzoek, dat op 15 oktober 2026 werd gepubliceerd, blijkt dat zelfs de meest krachtige 'frontier models' aanzienlijke problemen ondervinden wanneer zij acties moeten uitvoeren onder strikte tijdsdruk. Volgens de publicatie op arxiv.org is het essentieel dat AI-agenten in staat zijn om evoluerende omgevingen waar te nemen en binnen specifieke tijdslimieten te reageren.
De impact van verwerkingstijd
De kern van het onderzoek richt zich op de invloed van latentie op het succes van een taak. De onderzoekers maakten hiervoor gebruik van de 'Wall Clock'-methode. Bij deze aanpak gaat de gesimuleerde omgeving verder op basis van de werkelijke tijd die het model nodig heeft om een antwoord te genereren. De resultaten zijn onthullend: in deze scenario's behaalde het best presterende model een succespercentage van slechts 44%.
Dit wijst erop dat de fysieke snelheid van de servers en de tijd die nodig is voor inferentie direct bepalend zijn voor het succes van de AI. Wanneer de verwerkingstijd te lang is, kan het model niet adequaat reageren op een situatie die inmiddels al is veranderd. Dit raakt aan de fundamentele definitie van encyclo.nl, waarbij interactie plaatsvindt zonder merkbare vertragingen door gegevensverwerking.
Analyse van capaciteit versus snelheid
Om te achterhalen of de fouten voortkomen uit technische beperkingen van de hardware of uit een gebrek aan logisch vermogen, hanteerden de auteurs drie verschillende meetmethoden:
- Wall Clock: De omgeving evolueert volgens de werkelijke inferentietijd.
- Paused Clock: Een scenario waarin vertragingen worden geëlimineerd om puur de logische capaciteit te testen.
- Token Clock: De tijd gaat vooruit op basis van het aantal gegenereerde tokens, wat het temporele bewustzijn van het model meet.
Uit deze vergelijking komt naar voren dat de temporele kosten de slaagkans in dynamische omgevingen sterk beperken. Bovendien is er een spanningsveld tussen de kwaliteit van de besluitvorming en de snelheid van uitvoering. Een hogere inspanning bij het redeneren leidt niet automatisch tot betere resultaten wanneer er sprake is van een strikte tijdslimiet.
Praktische implicaties en barrières
De problematiek die in Realtime-Bench aan het licht komt, is herkenbaar in diverse digitale systemen waar onmiddellijke informatieverwerking cruciaal is. Een voorbeeld van systemen die werken met actuele data is de website van belgiantrain.be.
Naast de interne verwerkingstijd van modellen, vormen externe barrières een extra uitdaging voor AI-agenten. Beveiligingsmechanismen zoals captcha's kunnen de interactie tussen geautomatiseerde systemen en webinterfaces bemoeilijken, wat de complexiteit van het realiseren van volledig autonome, realtime agenten verder vergroot.
Toekomstige ontwikkelingen
De onderzoekers, waaronder Jingyu Tang, concluderen dat er specifieke verbeteringen nodig zijn voor multimodale AI-agenten. Zij pleiten voor de ontwikkeling van adaptief redeneren, waarbij het model een ingebouwd besef van tijd heeft. Het doel is om een vorm van continue perceptie en actie te realiseren, waardoor AI-systemen beter kunnen anticiperen op veranderingen in hun omgeving zonder dat de fysieke latentie van de server de doorslaggevende factor blijft.