Onderzoekers hebben HarnessPAI ontwikkeld, een model- en hardware-onafhankelijk framework dat de prestaties van fysieke AI-agenten aanzienlijk verbetert door actiemodellen te integreren in uitvoerbare en evoluerende computerprogramma's.
Binnen de fysieke AI ligt de focus traditioneel sterk op het 'actiemodel': het onderdeel dat waarnemingen vertaalt naar concrete bewegingen. Volgens een publicatie op arxiv.org kan deze focus echter leiden tot een afname van de perceptie- en redeneercapaciteiten van een agent. Hierdoor blijken zelfs sterke modellen vaak kwetsbaar voor verstoringen in de omgeving of complexe taken die een lange tijdshorizon vereisen.
Een brug tussen perceptie en actie
HarnessPAI is ontworpen om dit gat te dichten. In plaats van blind te vertrouwen op een actiemodel, gebruikt het framework code als een interface die de onderliggende actie-primitieven organiseert. Het systeem combineert waarneming, geometrisch redeneren, controle en succescontroles in één verifieerbaar programma.
Het framework werkt met twee verschillende tijdsschalen. Tijdens een specifieke uitvoering (een 'rollout') werkt het systeem 'open-loop' op programmaniveau; een vastgesteld programma leidt de uitvoering en controleert de voortgang. Tussen de verschillende rollouts door evolueert het systeem echter 'closed-loop'. Hierbij wordt feedback van eerdere pogingen gebruikt om het programma te herzien en fouten om te zetten in herbruikbare vaardigheden.
Significante prestatiewinst in diverse scenario's
De effectiviteit van HarnessPAI is getest op een breed scala aan hardware, waaronder robotarmen voor op het bureau, huishoudelijke robots, een robotstofzuiger en een looprobot. Volgens de projectpagina van het Darwin Agent Team leidt het gebruik van dit framework tot consistente verbeteringen in de taakvoltooiing zonder dat het onderliggende model opnieuw getraind hoeft te worden.
Enkele opvallende resultaten zijn:
* Een stijging van 61,6 procentpunt op de LIBERO-PRO benchmark.
* Een verbetering van 27,2 punten bij atomaire taken binnen RoboCasa.
* Specifiek voor het WorldDreamer-model steeg het succespercentage bij RoboCasa-taken van 65,0% naar 92,2%, zoals vermeld door paperlayer.ai.
Genereren van expertdata
Naast de directe prestatieverbetering dient het geconvergeerde programma als een betrouwbare bron van zogenaamde 'expertdata'. Dit is waardevol voor het fijnafstemmen van andere modellen, zoals VLA (Vision-Language-Action) en WAM (World Action Model) modellen, die vaak moeite hebben om zelfstandig succesvolle trajecten te vinden in complexe taken. In een apart experiment bleek dat het fijnafstemmen van het $\pi_{0.5}$-model op basis van succesvolle trajecten van de harness de resultaten op LIBERO-PRO met 38,8 punten verbeterde, aldus de Darwin Agent website.
Beperkingen en conclusies
Hoewel HarnessPAI de robuustheid van fysieke agenten vergroot, is het geen universele oplossing voor alle tekortkomingen. Uit de analyse op blijkt dat het framework afhankelijk is van de basiscompetenties van het onderliggende model. HarnessPAI kan de uitvoering optimaliseren en structureren, maar kan geen fundamentele fysieke vaardigheden toevoegen die het model oorspronkelijk niet bezat.
De onderzoekers concluderen dat de toekomst van fysieke AI niet alleen afhangt van krachtigere actiemodellen, maar juist van systemen die perceptie, redenering en actie integreren in een feedbackgestuurd en verifieerbaar geheel. De broncode en verdere details over het project zijn beschikbaar gesteld via github.com.