Onderzoekers hebben een nieuw framework ontwikkeld dat echte interacties tussen robots en objecten automatisch omzet in nauwkeurige fysieke simulaties, waardoor het arbeidsintensieve proces van 'real-to-sim' conversie drastisch wordt vereenvoudigd.
Het vertalen van fysieke gebeurtenissen uit de echte wereld naar een digitale simulatieomgeving, ook wel bekend als real-to-sim, is een cruciale stap voor de ontwikkeling van geavanceerde robotica. Tot op heden was dit proces echter zeer tijdrovend. Volgens een recent onderzoekspapier op arxiv.org vereist dit proces namelijk veel meer dan enkel een visuele reconstructie van een scène. Om een werkende simulatie te bouwen, moeten geometrieën van objecten worden hersteld, fysieke parameters worden afgeleid en trajecten van robots nauwkeurig worden afgestemd.
De beperkingen van huidige methoden
In de huidige praktijk leunt de conversie van realiteit naar simulatie sterk op handmatige handelingen. Onderzoekers moeten vaak visuele basismodellen handmatig tunen, 3D-meshes opschonen en coördinatensystemen handmatig uitlijnen. Deze "brute" workflows tussen visuele perceptietools en simulators maken het proces traag en foutgevoelig.
Om dit op te lossen, introduceert een team van onderzoekers onder leiding van Guanxiong Chen het framework genaamd Agentic Real2Sim. Dit systeem maakt gebruik van vision-language agents (VLA's) om een real-world opname van een interactie om te zetten in een zogenaamde 'episodic twin'. Deze digitale tweeling behoudt niet alleen de visuele observaties, maar ook de geometrie, de interacties van de robot en de specifieke staten van de objecten.
Breed toepasbaar framework
Een van de belangrijkste innovaties van Agentic Real2Sim is de generalisatie over verschillende domeinen. Waar voorheen aparte pipelines nodig waren voor verschillende soorten interacties, kan dit nieuwe framework worden ingezet voor diverse scenario's. Volgens de publicatie op is het systeem succesvol getest op:
* De manipulatie van starre objecten (rigid-object manipulation).
* Interacties met vervormbare objecten (deformable-object interaction).
* Complexe bewegingen van humanoïde robots.
Door deze breedte te bieden, zet het framework een belangrijke stap richting een schaalbare conversie van fysieke data naar simulaties.
Efficiëntie en kosten
Naast de technische functionaliteit richt het onderzoek zich ook op de computationele kosten. De agentische beslissingen binnen het framework kunnen worden aangestuurd door een open-weight Vision-Language Model (VLM) backend. De auteurs stellen in hun dat dit model slechts een fractie van de kosten van geavanceerde 'frontier models' vereist, terwijl het een vergelijkbaar succespercentage behaalt bij de conversie naar simulaties.
Toekomstige toepassingen in robotica
Het uiteindelijke doel van Agentic Real2Sim is niet enkel het creëren van een visuele kopie, maar het genereren van real-world-aligned twins die gebruikt kunnen worden voor downstream taken. De onderzoekers beogen deze simulaties specifiek in te zetten voor het leren en evalueren van robotica-policies. Hierdoor kunnen robots in een veilige, digitale omgeving getraind worden op basis van exacte data uit de echte wereld, voordat ze in de fysieke ruimte worden ingezet.
Het project, dat is bijgedragen door een uitgebreid team van onderzoekers en gepubliceerd is via , markeert een verschuiving naar een meer autonome manier van wereldmodellering in de robotica, waarbij de menselijke tussenkomst bij het bouwen van simulaties tot een minimum wordt beperkt.