Onderzoekers hebben OpenNWM ontwikkeld, een generalistisch wereldmodel voor navigatie dat in staat is om te leren van grote hoeveelheden videofragmenten waarin geen specifieke actie-instructies zijn vastgelegd. Door middel van 'latent action pretraining' kan het model beter voorspellen hoe omgevingen eruitzien en hoe navigatie in diverse real-world scenario's verloopt.
Het trainen van navigatiemodellen voor robots en autonome systemen stuit vaak op een fundamenteel probleem: het gebrek aan data waarin zowel de visuele waarneming als de specifieke actie (zoals "draai links" of "rijd vooruit") nauwkeurig zijn gelabeld. Hoewel er een overvloed is aan navigatievideo's, ontbreken in deze beelden meestal de bijbehorende actiegegevens die nodig zijn voor traditionele training.
De werking van OpenNWM
Om dit probleem aan te pakken, introduceren Dujun Nie en een team van onderzoekers arxiv.org. Dit model maakt gebruik van een techniek genaamd latent action pretraining. In plaats van direct te vertrouwen op expliciete actie-labels, leert het model universele 'latente acties' uit grootschalige video's zonder labels via visuele voorspelling.
Nadat het model deze patronen heeft herkend, volgt een fase van action-conditioned post-training. In deze stap worden de geleerde latente acties uitgelijnd met daadwerkelijke fysieke bewegingen. Hierdoor kan het model toekomstige observaties voorspellen op basis van specifieke navigatieacties, wat essentieel is voor het plannen van routes in onbekende omgevingen.
Introductie van de NavAnywhere-dataset
Een cruciaal onderdeel van dit onderzoek is de creatie van een nieuwe dataset genaamd NavAnywhere. Volgens de publicatie op bestaat deze dataset uit 17,5 miljoen visuele observaties. De data is verzameld uit 15 verschillende heterogene bronnen, wat zorgt voor een breed scala aan perspectieven en bewegingspatronen.
De dataset is zeer divers en bevat beelden van:
* Grondrobots;
* Menselijke perspectieven;
* Drones.
Bovendien beslaat de dataset vijf verschillende soorten omgevingen, variërend van woonwijken en stedelijke gebieden tot parken, natuurlandschappen en commerciële of publieke ruimtes. Deze breedte zorgt ervoor dat het model niet beperkt blijft tot één specifiek type omgeving, maar generaliseert naar de 'open wereld'.
Resultaten en impact
De experimenten met OpenNWM tonen aan dat de methode van latent-action pretraining effectief is. Het model vertoont verbeterde prestaties bij het voorspellen van visuele beelden, zowel binnen de bekende trainingsdata (in-domain) als in volledig nieuwe omgevingen (out-of-domain).
Volgens de auteurs van het artikel leidt dit direct tot een betere navigatieprestatie in de praktijk. Door gebruik te maken van actievrije video's kan het model de dynamiek van de fysieke wereld beter begrijpen, wat de weg vrijmaakt voor robots die zich makkelijker kunnen aanpassen aan onvoorziene situaties in diverse landschappen.
Het project is gericht op het verbeteren van de generalisatie van wereldmodellen, waardoor autonome systemen minder afhankelijk worden van kostbare, handmatig gelabelde datasets en meer kunnen profiteren van de enorme hoeveelheid beschikbare visuele data op het internet. De volledige details van het onderzoek en de bijbehorende code zijn beschikbaar gesteld via de projectpagina en de .