AI-agenten worden steeds vaker ingezet als persoonlijke assistenten. Maar hoe goed zijn ze eigenlijk in het echte leven? Een nieuw onderzoek laat zien: niet zo goed. Zelfs de meest geavanceerde taalmodellen vallen tegen als het gaat om langdurige, proactieve hulp.
Het onderzoek, gepubliceerd op arxiv.org, introduceert VibeLifeBench: een nieuwe testomgeving die meet of AI-agenten proactief en consistent kunnen handelen over een periode van meerdere weken. De conclusie is ontnuchterend.
De kloof tussen tests en de realiteit
De meeste bestaande tests voor AI-agenten zijn te makkelijk. Ze meten korte, afgebakende verzoeken in statische omgevingen. Echte hulp in het dagelijks leven werkt fundamenteel anders.
In de praktijk kan een taak weken duren in plaats van minuten. De wereld verandert bovendien constant, ook als de agent geen instructies krijgt. En veel beperkingen worden nooit expliciet benoemd. Een agent die alleen reageert op de vraag die voor hem ligt, is volgens de onderzoekers gedoemd te falen.
Wat nodig is, is een agent die proactief en consistent blijft. Zo'n assistent moet zelf beslissen wanneer actie nodig is, wanneer hij om informatie moet vragen en wanneer stilte de beste optie is. Daarnaast moet hij ongeplande veranderingen in de omgeving opmerken en een plan over langere tijd coherent uitvoeren.
Hoe VibeLifeBench werkt
VibeLifeBench bestaat uit 200 taken met een lange tijdshorizon, verspreid over tien domeinen uit het dagelijks leven. De taken spelen zich af in een gesimuleerde wereld met 22 fictieve diensten.
Het cruciale kenmerk: de wereld loopt op een eigen klok vooruit. Veel veranderingen gebeuren "stil" — alleen een agent die de omgeving actief en regelmatig opnieuw inspecteert, ontdekt ze. De beoordeling gebeurt via gedetailleerde, gewogen controles. Er wordt uitsluitend gekeken naar wat de agent daadwerkelijk heeft achtergelaten: de eindtoestand, de timing van de acties en het naleven van impliciete beperkingen.
Teleurstellende resultaten
De onderzoekers testten zeven van de meest geavanceerde 'frontier'-modellen. Alle scoorden laag. Dat onderstreept hoe groot de afstand nog is tussen de huidige capaciteiten van AI-agenten en wat effectieve assistentie in het echte leven vereist.
Om innovatie te stimuleren, maken de makers alle taken, de gesimuleerde omgevingen en het evaluatiekader open-source beschikbaar. Zo willen ze andere ontwikkelaars helpen bij het bouwen van agenten die werkelijk proactief en persistent opereren in een "levende wereld".
De introductie van VibeLifeBench markeert een verschuiving in hoe de industrie succes meet: niet langer op basis van het correct beantwoorden van een vraag, maar op basis van het succesvol managen van een leven.