⚠️ KMI waarschuwing: Onweer in België Laatste update van KMI waarschuwingen voor België. KMI ↗ Kaart ↗ Artikel →
← Terug
Nieuwe methode verhoogt succespercentage van AI-navigatie via ervaring-destillatie

Nieuwe methode verhoogt succespercentage van AI-navigatie via ervaring-destillatie

Onderzoekers hebben een nieuwe techniek ontwikkeld genaamd H2E, waarmee vision-language-action (VLA) modellen efficiënter kunnen navigeren door succesvolle ervaringen van AI-agenten over te nemen. Deze methode vermindert de afhankelijkheid van kostbare taalmodellen tijdens het uitvoeren van taken.

In de huidige architectuur voor navigatie-agenten wordt vaak gebruikgemaakt van een planner gebaseerd op een groot taalmodel (LLM) dat een vision-language-action (VLA) model aanstuurt. Hoewel dit effectief is, brengt het gebruik van een LLM bij elke episode aanzienlijke kosten en vertragingen met zich mee. Volgens een recent onderzoek gepubliceerd op arxiv.org is er daarom een methode ontwikkeld om de succesvolle ervaringen van de agent direct in het VLA-model te destilleren, waardoor het model tijdens de testfase autonoom kan navigeren zonder tussenkomst van de planner.

De werking van H2E-destillatie

De uitdaging bij het trainen van VLA-modellen is dat sessies van navigatie-agenten geen directe demonstraties zijn. Deze sessies bevatten vaak omwegen en bewegingen die worden aangestuurd door sub-instructies of specifieke tools van de planner. Om dit op te lossen, introduceerden onderzoekers H2E, een methode voor ervaring-destillatie op taakniveau.

Bij H2E wordt elke beweging uit een succesvolle sessie omgezet in een VLA-actie onder de oorspronkelijke taakinstructie, waarbij de bereikte posities als doelwitten dienen. Om de kwaliteit van de training te waarborgen, maskeert de methode het verlies op stappen die van het doel af bewegen. Daarnaast wordt elke bezochte staat binnen een straal van één meter van het doel gemarkeerd als een stopmoment. Door het VLA-model vervolgens bij te werken met low-rank adaptation, leert het model niet alleen waar het moet stoppen, maar ook hoe het doelen kan vinden die het basismodel voorheen niet kon bereiken.

De resultaten van deze aanpak zijn significant. In tests met 3.189 episodes van de REVERIE-CE val-unseen dataset steeg het succespercentage van een VLA-model met 8 miljard parameters van 35,0% naar 44,9%, zoals beschreven in de .

Bredere context van AI-agenten en evaluatie

De ontwikkeling van autonome agenten die leren van interacties is een bredere trend in de AI-sector. Zo richt de startup Encore AI zich op het bouwen van stem-agenten die leren van klantgesprekken door middel van "interaction mining". Volgens berichtgeving van techcrunch.com analyseert dit platform succesvolle uitkomsten van menselijke medewerkers om AI-agenten te trainen die de beste strategieën uit bestaande playbooks overnemen.

Naast het trainen van modellen is de evaluatie van deze agenten een kritiek punt. In een technisch blog van NVIDIA wordt benadrukt dat de evaluatie van AI-agenten is verschoven van het scoren van individuele functie-aanroepen naar het meten van de volledige taakvoltooiing in uitvoerbare omgevingen. Hierbij wordt onderscheid gemaakt tussen proces-scoring op stapsniveau en outcome-scoring op het eindresultaat. NVIDIA stelt dat het simpelweg "goed klinken" van een model weinig zegt over het daadwerkelijke succes van de uitgevoerde arbeid.

Uitdagingen in agent-architecturen

Ondanks de vooruitgang blijven er technische hindernissen. Een veelvoorkomend probleem in agent-architecturen is de kloof tussen het succesvol aanroepen van een tool en het daadwerkelijk gebruiken van de teruggeleverde data. Zo beschrijft thestackunderflow.com situaties waarin een agent een zoektool correct aanroept, maar vervolgens een antwoord geeft op basis van eigen trainingsdata in plaats van de actuele resultaten van de tool.

Deze complexiteit onderstreept het belang van methoden zoals H2E, die proberen de kloof tussen planning en actie te overbruggen door ervaringen direct in het actiemodel te integreren, in plaats van enkel te vertrouwen op de interactie tussen losse componenten.

Waardering
0
Stem mee op dit artikel
Discussie
Nog geen reacties. Wees de eerste!