Zelfrijdende auto's moeten voorbereid zijn op situaties die bijna nooit voorkomen: een fietser die plotseling afslaat, een onweersbui tijdens de spits, een bestuurder die tegen de rijrichting in rijdt. Zo testen? Dat kan niet in het echt. NVIDIA lost het nu op met OmniDreams: een generatief wereldmodel dat in real-time fotorealistische rijscenario's produceert die direct reageren op wat het voertuig doet.
Het probleem met traditionele simulaties is dat ze gebouwd zijn op reconstructies van bestaande data. Daardoor blijven ze gevangen binnen wat de dataset al bevat — en generaliseren ze slecht naar volledig nieuwe of zeer dynamische situaties. Een team van NVIDIA-onderzoekers ontwikkelde OmniDreams precies om die beperking te doorbreken, zoals beschreven in een publicatie op arxiv.org.
Een simulator die meebeweegt
OmniDreams is gebouwd op het Cosmos-diffusiemodel en getraind met mid- en post-training op 21.000 uur aan rijscenario's. Het resultaat: actie-geconditioneerde video's in real-time. De visuele output verandert dus direct op basis van de acties die het autonome systeem onderneemt.
Het model genereert fotorealistische sensorgegevens op basis van drie ingrediënten: eerdere frames, de huidige staat van de simulator en de onmiddellijke rijacties van het voertuig. Daarmee kan het ook complexe fenomenen synthetiseren waar traditionele simulators mee struikelen — denk aan extreme weersomstandigheden en onvoorspelbaar gedrag van andere weggebruikers.
Ingebouwd in een closed-loop systeem
Om te bewijzen dat het werkt, is OmniDreams ingebouwd in een gesloten systeem (closed-loop), samen met het Alpamayo 1-beleidsmodel en de AlpaSim-orchestrator. In die opstelling fungeert OmniDreams als een responsieve omgeving voor het trainen van de volgende generatie autonome rijmodellen.
Passend in NVIDIA's grotere AI-plan
Deze stap sluit aan bij NVIDIA's bredere strategie om marktleider te blijven in AI-computing. Het bedrijf biedt een uitgebreid scala aan infrastructuur voor AI-fabrieken en cloudservices, zoals vermeld op de officiële website van nvidia.com. De zware AI-berekeningen worden onder meer ondersteund door de GeForce RTX-serie, waarmee complexe AI-modellen ook lokaal draaien.
Met de combinatie van generatieve AI en real-time simulatie probeert NVIDIA de kloof te dichten tussen virtuele training en de onvoorspelbaarheid van de echte wereld. Dankzij de wereldwijde aanwezigheid van het bedrijf — met ondersteuning in regio's van Noord-Amerika tot Azië, zoals vermeld op hun co.jp — kan deze technologie op grote schaal worden uitgerold en getest.