Onderzoekers hebben L3G-World ontwikkeld, een nieuw model dat in staat is om visuele content van oneindige werelden in real-time te genereren terwijl de ruimtelijke consistentie behouden blijft tijdens langdurige exploratie.
Het creëren van interactieve wereldmodellen waarbij visuele content direct reageert op de acties van een gebruiker is een complexe uitdaging binnen de computer vision. Een groot struikelblok voor bestaande systemen is het behouden van ruimtelijke consistentie wanneer een gebruiker over een lange periode een omgeving verkent. Volgens een wetenschappelijke publicatie op arxiv.org kampen huidige methoden vaak met schaalbaarheidsproblemen, omdat hun geheugen lineair meegroeit met de lengte van de gegenereerde datastroom.
De beperkingen van huidige modellen
Traditionele benaderingen voor wereldgeneratie leunen meestal op temporele context of expliciet 3D-geheugen. Beide methoden blijken echter inefficiënt bij langdurige sessies. Een specifiek probleem bij expliciete 3D-geheugens is dat zij latent video-generatoren conditioneren door RGB-renderings opnieuw te coderen. Dit proces is rekenintensief en vormt een barrière voor generatie in real-time, zoals uiteengezet in de .
Innovatie via Latent 3D Gaussian Memory
Om deze beperkingen te overwinnen, introduceren Jinhyeok Choi en zijn collega-onderzoekers het Latent 3D Gaussian Memory (L3G). Deze nieuwe techniek combineert de snelheid van feed-forward reconstructie met een compacte representatie van scènes die zeer snel gerenderd kan worden.
Het systeem L3G-World werkt via een autoregressief proces waarbij een 'memory updater' en een video diffusion transformer (DiT) elkaar afwisselen. De memory updater is verantwoordelijk voor het creëren van nieuwe Gaussians in gebieden die voor het eerst worden waargenomen, terwijl bestaande elementen worden verfijnd. Hierdoor groeit het geheugen mee met de omvang van de scène zelf, in plaats van met de tijd die de gebruiker in de wereld doorbrengt.
Een cruciaal technisch detail is dat elke Gaussian een VAE-latent kenmerk opslaat. Dit stelt het systeem in staat om het geheugen direct te renderen in de latente ruimte van de DiT, waardoor het tijdrovende proces van VAE-re-encoding volledig wordt overgeslagen, aldus de .
Significante prestatiewinst
De resultaten van de experimenten tonen aan dat L3G-World superieur is aan eerdere 3D-geheugenbaselines op meerdere vlakken. De onderzoekers rapporteren een aanzienlijke efficiëntieslag:
* Het model gebruikt tot 38,6 keer minder 3D-primitieven.
* Geheugenupdates verlopen 3,2 keer sneller.
* De rendering van het geheugen is maar liefst 359 keer sneller.
Dankzij deze optimalisaties is L3G-World in staat om werelden te genereren met een snelheid van 9 frames per seconde (FPS), wat real-time interactie mogelijk maakt. Volgens de leidt dit tot een state-of-the-art kwaliteit in zowel de generatie als de ruimtelijke consistentie over lange perioden.
Het onderzoek, dat op 29 oktober 2026 is ingediend, is uitgevoerd door een team bestaande uit onder meer Jinhyeok Choi, JoungBin Lee en Jongmin Lee. De volledige details en de technische implementatie zijn beschikbaar via de .