Wetenschappers hebben een innovatieve benadering ontwikkeld om viervoetige robots in staat te stellen complexe handelingen uit te voeren op basis van instructies in menselijke taal. Dit nieuwe systeem, dat WAM-Policy wordt genoemd, richt zich op het domein van de 'loco-manipulatie'. Hierbij moet een robot zich voortbewegen terwijl hij gelijktijdig een object manipuleert, wat voor viervoeters vaak betekent dat zij op drie poten balanceren terwijl één voorpoot wordt ingezet voor de taak.
Volgens een publicatie op arxiv.org vormt dit systeem een oplossing voor het gebrek aan effectieve methoden om taalinstructies te koppelen aan dergelijke fysieke handelingen. De basis van de technologie ligt in World Action Models (WAMs). Hoewel deze modellen reeds bekwaam zijn in het vertalen van taal naar acties, werden ze oorspronkelijk ontworpen voor robotarmen en bleken ze te traag voor de real-time behoeften van viervoetige robots.
Om deze beperkingen te overwinnen, hanteert het onderzoeksteam een proces dat uit twee fasen bestaat. In de eerste fase wordt de kennis van de arm-gecentreerde WAMs overgedragen naar de morfologie van de viervoeter. Om de reactiesnelheid te verhogen, maken de onderzoekers gebruik van 'on-policy self-distillation' (OPSD). Bij deze techniek wordt de expertise van een complex 'leraar-model' overgedragen aan een vereenvoudigd 'student-model'. Dit resulteert in een systeem dat aanzienlijk sneller reageert, aangezien het student-model slechts twee actiestappen en één video nodig heeft om te functioneren, zoals verder uitgewerkt in de .
De tweede fase richt zich op het optimaliseren van specifieke taken. Omdat het student-model initieel beperkt wordt door de prestaties van de leraar, wordt deze laatste verder getraind via reinforcement learning (RL). De resulterende specialisten worden vervolgens via 'multi-teacher on-policy distillation' (M-OPD) samengevoegd tot één enkel, efficiënt student-model. Hoewel dit een technisch proces is, valt het binnen de bredere context van hoe beleid en regels worden geformuleerd om gewenst gedrag af te dwingen, een concept dat in algemene zin wordt besproken in documentatie over ac.uk.
De prestaties van WAM-Policy zijn uitgebreid getest binnen de QLM-Bench, een gesimuleerde omgeving met tien verschillende taken. Voor deze evaluatie werden 1.000 synthetisch gegenereerde demonstraties gebruikt, waarbij geen menselijke tussenkomst via teleoperatie nodig was. De resultaten die in de worden beschreven, tonen een significante stijging in zowel snelheid als nauwkeurigheid. De overgedragen policy behaalde initieel een succespercentage van 77,0%. Het OPSD-studentmodel behield een score van 76,7%, maar voerde de taken maar liefst 14 keer sneller uit dan het oorspronkelijke model. Na de implementatie van taakspecifieke RL en M-OPD steeg het uiteindelijke succespercentage naar 85,0%.
Naast de simulaties is het systeem ook in de fysieke wereld beproefd. De OPSD-student is succesvol geïmplementeerd op een Unitree Go2 Air robot. Hiermee is aangetoond dat de theoretische modellen ook op echte hardware kunnen worden toegepast. Het resultaat is een krachtige policy die taalgestuurde opdrachten kan uitvoeren tegen een fractie van de oorspronkelijke rekenkosten.