Onderzoekers hebben ABot-World-0 gepresenteerd, een geavanceerd videomodel dat in real-time interactieve omgevingen genereert. Het systeem is specifiek geoptimaliseerd om op een enkele desktop-videokaart te draaien, wat de drempel voor het creëren van complexe, actie-gestuurde simulaties aanzienlijk verlaagt.
De ontwikkeling van ABot-World-0 markeert een stap voorwaarts in de creatie van zogenaamde 'world models'. In tegenstelling tot statische video-generatie, stelt dit model gebruikers in staat om via actie-commando's direct invloed uit te oefenen op de visuele output. Volgens een publicatie op arxiv.org is het model ontworpen voor real-time, langdurige interacties in een gesloten lus, waarbij de wereld dynamisch reageert op de input van de gebruiker.
Training en data-infrastructuur
Om een geloofwaardige en controleerbare wereld te creëren, hebben de ontwikkelaars gebruikgemaakt van een uitgebreide data-infrastructuur. De trainingsset bestaat uit een combinatie van beelden uit AAA-games, simulatie-engines en diverse internetvideo's. Om de kwaliteit van deze data te waarborgen, is er een pijplijn geïmplementeerd die gebruikmaakt van veertien deterministische kwaliteitscontroles en beoordelingen via Vision Language Models (VLM).
Een cruciaal onderdeel van het leerproces is de zogenaamde 'WorldExplorer'. Dit systeem verzamelt data door middel van agent-gestuurde interacties, waarbij feedback uit de training wordt gebruikt om de collectie te sturen. Daarnaast wordt gebruikgemaakt van een techniek waarbij een complex 'teacher'-model wordt gedestilleerd tot een efficiënter 'student'-model. Om fouten die zich bij lange sequenties opstapelen te voorkomen — een bekend probleem bij autoregressieve modellen — is de methode 'LongForcing' geïntroduceerd. Deze techniek zorgt ervoor dat de zelfgenererende rollouts van het student-model beter in lijn blijven met de uitgebreide horizon van het teacher-model, zoals beschreven in de .
Technische prestaties en hardware
Een van de meest opvallende kenmerken van ABot-World-0 is de efficiëntie bij de implementatie. Het model is co-designed met een streaming-inferentiestack die gebruikmaakt van een lichtgewicht VAE-decoder en geheugenbewuste planning.
De prestaties op consumentenhardware zijn als volgt:
- Hardware: Het model draait op een enkele NVIDIA RTX 5090 desktop-GPU.
- Resolutie en snelheid: Het kan 720P-video streamen met een snelheid tot 16 frames per seconde (FPS).
- Latentie: De vertraging tussen een actie en het eerste gegenereerde frame bedraagt 1,2 seconden.
- Geheugen: Het piekgebruik van het videogeheugen (VRAM) ligt rond de 19 GiB.
Voor de besturing maakt het systeem gebruik van standaard toetsenbordinvoer, wat een uniforme interface biedt voor zowel het verkennen van scènes als de interactie met personages in een derde-persoonsperspectief. Om de visuele consistentie van personages te behouden tijdens deze interacties, maakt het model gebruik van een specifiek geheugen voor referentiepersonages.
Bredere context van ABot-onderzoek
ABot-World-0 is onderdeel van een bredere trend in AI-onderzoek naar belichaamde intelligentie en wereldmodellen. Parallel aan dit project is er ook gewerkt aan arxiv.org, een model dat zich specifiek richt op de combinatie van mobiliteit en manipulatie voor robots. Waar ABot-World-0 zich richt op de visuele simulatie van een wereld, probeert ABot-M0.5 de kloof te overbruggen tussen video-latents en de fysieke aansturing van robotarmen en bases.
Daarnaast bestaat er een bredere database voor antropomorfe robots, de abotdatabase.info, die meer dan 250 robots verzamelt voor onderzoek naar menselijke gelijkenis. Hoewel de database zich primair richt op fysieke robots, vullen deze verschillende projecten elkaar aan in het streven naar systemen die menselijke interacties en fysieke wetten in een digitale of fysieke omgeving kunnen begrijpen en simuleren.
De effectiviteit van ABot-World-0 is onder meer getest op de 'WorldRoamBench', waarbij de resultaten wijzen op een concurrerende controleerbaarheid en een coherente evolutie van de wereld over een langere periode, zoals vermeld in de .