Onderzoekers hebben CLAP geïntroduceerd, een innovatief raamwerk voor actie-geconditioneerde videogeneratie dat in staat is om fysieke wetten te leren uit diverse videobronnen. Het systeem kan fysieke simulaties uitvoeren voor verschillende robottypen zonder dat daarvoor specifieke training per model nodig is, wat een significante stap voorwaarts is in de generalisatie van robotica.
Doorbreken van de 'embodiment lock-in'
Traditionele videomodellen die acties voorspellen, zijn doorgaans beperkt tot één specifiek robotmodel (embodiment). Dit betekent dat ze niet kunnen profiteren van de enorme hoeveelheid beschikbare videodata van andere robots of zelfs mensen, omdat de actierepresentaties per platform sterk verschillen. Volgens een publicatie op arxiv.org vormt CLAP een oplossing voor dit probleem door te vertrekken vanuit het inzicht dat universele fysieke wetten de ruimtelijke en temporele dynamiek bepalen, ongeacht wie of wat de actie uitvoert.
Door deze benadering kan CLAP getraind worden op internet-schaal videodata, waarbij zowel menselijke acties als diverse robotbewegingen worden gebruikt om een fundamenteel begrip van fysica op te bouwen.
Technische innovaties en methodiek
Om de kloof tussen verschillende robotplatforms en menselijke video's te overbruggen, introduceert het raamwerk drie specifieke kanalen om actieruimtes te harmoniseren. Zoals beschreven door startuphub.ai, combineert CLAP het gebruik van end-effector poses, taalinstructies en latente acties. Vooral de latente acties zijn cruciaal, omdat deze het model in staat stellen om actierepresentaties af te leiden uit ongelabelde menselijke video's.
Het trainingsproces volgt een specifiek curriculum:
1. Basisvorming: Het model leert eerst fundamentele fysieke principes uit ongelabelde videodata via latente acties.
2. Koppeling: Deze principes worden vervolgens gekoppeld aan concrete end-effector actieruimtes.
3. Implementatie: Dit maakt 'zero-shot' implementatie mogelijk, waarbij het model taken in de echte wereld kan simuleren zonder voorafgaande specifieke training voor die exacte robotconfiguratie.
Prestaties en resultaten
De effectiviteit van CLAP is getest in complexe omgevingen, waaronder de DROID-dataset. Volgens de details op arxivtldr.org benadert of overtreft CLAP de prestaties van state-of-the-art modellen die specifiek voor één enkel robotmodel zijn ontwikkeld. Bovendien kan het systeem via 'few-shot adaptation' — het finetunen met een zeer kleine hoeveelheid data — nog efficiënter worden aangepast aan specifieke robotmorfologieën.
Het raamwerk is breed inzetbaar over diverse robottypen. In de documentatie wordt melding gemaakt van compatibiliteit met onder andere DROID, Bridge, bimanuale YAM-robots en G1-humanoïden.
Toekomstige impact en open source
De ontwikkeling van CLAP, geleid door onderzoekers waaronder Kechen Liu en Ola Shorinwa van de Princeton University, biedt een nieuwe paradigma voor het trainen van wereldmodellen in de robotica. Door fysieke simulaties los te koppelen van specifieke hardware, kan de leercurve voor nieuwe robots aanzienlijk worden verkort.
Om verdere innovatie in de gemeenschap te stimuleren, hebben de makers alle code en modellen open-source beschikbaar gesteld via github.com. Dit kan de versnelling van robotica-implementaties in real-world scenario's bevorderen, omdat modellen minder fragiel worden en beter kunnen omgaan met diverse fysieke omgevingen.