Onderzoekers hebben een nieuw systeem genaamd ESI (Embodied Self-Improvement) ontwikkeld dat de kloof overbrugt tussen het redeneren van taalmodellen en de fysieke uitvoering van robotacties door middel van een geautomatiseerd leerproces.
In een recent technisch rapport, gepubliceerd op 13 november 2026, presenteren Yundi Cai en collega-onderzoekers een methode om de samenwerking tussen Large Language Models (LLM) en Vision-Language-Action (VLA) policies te optimaliseren. Hoewel beide componenten onafhankelijk van elkaar krachtig zijn, blijkt uit het onderzoek dat het simpelweg koppelen van deze systemen niet automatisch leidt tot gecoördineerd gedrag. Volgens de publicatie op arxiv.org kunnen VLA-modellen acties genereren die afwijken van de door het LLM beoogde subtaak, waardoor effectieve correcties van het taalmodel ongedaan worden gemaakt.
Het probleem van de 'coördinatiekloof'
Het kernprobleem bij huidige hybride agenten is de interface tussen het redeneringsmodel en het actiemodel. Volgens analyse op zerith.com ontstaan er twee specifieke knelpunten: de 'intent gap' en de 'handoff gap'. Bij de intent gap kiest het LLM een specifiek doel, maar voert de VLA een bekende, maar incorrecte actie uit. Bij de handoff gap herstelt het LLM de situatie weliswaar, maar is de VLA niet in staat om vanaf dat nieuwe punt correct verder te gaan, waardoor het systeem vaak in herhalende fouten vervalt.
De ESI-flywheel methode
Om dit op te lossen introduceert het team ESI, een geautomatiseerd 'vliegwiel' dat interactie met de omgeving gebruikt om redenering en actie op elkaar af te stemmen. In plaats van statische modellen te gebruiken, behandelt ESI de modulaire agent als een eenheid voor post-training. Het systeem verfijnt herhaaldelijk drie cruciale elementen:
1. De prompts die het LLM aansturen.
2. De gedeelde 'skill interface' die de intentie van het LLM uitdrukt.
3. De parameters van de VLA die deze intentie in fysieke actie omzetten.
Een belangrijk inzicht hierbij is dat de samenwerking zelf dient als supervisie. De beslissingen van het LLM bieden semantische sturing voor wat de policy moet uitvoeren, terwijl succesvolle correcties dienen als actie-niveau supervisie voor herstel en overdracht. Zoals beschreven door arxivtldr.org, stelt dit de agent in staat om te leren van eigen effectieve uitvoering, zelfs als de totale taak uiteindelijk mislukt.
Prestaties en resultaten
De effectiviteit van ESI is getest op tien uitdagende taken binnen de RoboDojo-simulator, gebruikmakend van een dual-arm ARX X5 robot. De resultaten tonen een significante verbetering ten opzichte van bestaande systemen. ESI behaalde een gemiddelde score van 62,03 en een gemiddeld succespercentage van 49,41%.
Volgens de gegevens in het presteert ESI beter dan alle gepubliceerde hybride embodied agents, waaronder het Agent+WAM systeem GO-3 Nano Preview, dat een score van 47,27 en een succespercentage van 36,60% behaalde. Opvallend is dat ESI deze resultaten bereikt zonder dat er taakspecifieke controlecode gegenereerd hoeft te worden.
Implementatie en beschikbaarheid
De technische implementatie van het systeem maakt gebruik van de $\pi 0.5$ VLA-policy. Op het platform huggingface.co is het uiteindelijke checkpoint van de VLA-policy, genaamd ESI-pi05, beschikbaar gesteld. Dit model is gefinetuned op basis van trajecten verzameld in de RoboDojo-simulator. De policy ondersteunt instructies op episodeniveau, met optionele sturing van subtaken vanuit een LLM, waarbij gebruik wordt gemaakt van beelden van hoofd- en poliscamera's en de actuele status van de robot.