Een team van wetenschappers heeft een nieuwe benadering ontwikkeld om de creatie van Extended Reality (XR)-ervaringen aanzienlijk te versnellen. Door de inzet van grote taalmodellen (LLM's) en een speciaal ontwikkeld open-source framework, probeert het project 'Vibe Coding XR' de kloof te dichten tussen menselijke taal en de complexe technische vereisten van ruimtelijke programmering.
De beperkingen van huidige XR-systemen
De traditionele manier van prototypen voor intelligente XR-omgevingen brengt grote uitdagingen met zich mee. Volgens een wetenschappelijke publicatie op arxiv.org ligt de problematiek niet alleen bij de steile leercurve voor ontwikkelaars, maar vooral bij de technische opbouw van bestaande systemen. De auteurs stellen dat gangbare game-engines en sensor-API's op laag niveau niet optimaal aansluiten bij de redeneerprocessen van LLM's.
Deze systemen maken vaak gebruik van complexe hiërarchieën die het contextvenster van AI-modellen overschrijden. Dit resulteert regelmatig in technische fouten in de syntax of zogenaamde 'hallucinaties', waarbij de AI code genereert die in de praktijk niet functioneert binnen de specifieke architectuur van de engine.
De introductie van XR Blocks en Vibe Coding XR
Om deze barrières te slechten, hebben de onderzoekers 'XR Blocks' ontwikkeld. Dit is een WebXR-framework dat specifiek is ontworpen voor LLM's. In plaats van traditionele methoden te volgen, implementeert dit systeem een semantisch 'Reality Model'. Hierdoor worden ruimtelijke elementen — zoals de gebruiker, digitale agenten en de fysieke omgeving — vertaald naar een beknopte woordenschat die is geoptimaliseerd voor generatieve AI.
Binnen dit kader is de workflow 'Vibe Coding XR' ontstaan. Deze methode stelt makers in staat om high-level prompts direct om te zetten in werkende mixed-reality applicaties die rekening houden met natuurkundige wetten. Een concreet voorbeeld hiervan is het creëren van een digitale paardenbloem die reageert op de specifieke handbewegingen van een gebruiker. Meer informatie over de implementatie is te vinden op de github.io.
Testen en validatie van de workflow
Een essentieel onderdeel van de nieuwe aanpak is het minimaliseren van de wrijving bij het testen op fysieke hardware. De onderzoekers hebben een proces opgezet waarbij een gesimuleerde omgeving op een desktop naadloos kan worden overgezet naar een XR-headset.
Om de effectiviteit van deze methode te bewijzen, is de VCXR60-dataset ontwikkeld. Deze dataset bevat 60 specifieke XR-prompts die via een geautomatiseerde pijplijn worden geëvalueerd. De resultaten tonen een hoog succespercentage bij 'one-shot execution', wat betekent dat ontwikkelaars technische hindernissen op laag niveau kunnen vermijden en sneller een tastbaar prototype kunnen realiseren.
De bredere trend van 'Vibe Coding'
De term 'vibe coding' staat symbool voor een bredere verschuiving in de softwarewereld, waarbij de intentie van de maker centraal staat en AI-agenten de technische uitvoering verzorgen. Deze trend naar agent-gestuurde ontwikkeling is ook zichtbaar bij commerciële partijen. Zo biedt mistral.ai tools aan waarmee gebruikers complexe taken kunnen beschrijven, waarna de AI de code schrijft, test en implementeert.
Hoewel er verschillende projecten onder de naam 'Vibe' bestaan, waaronder lokale applicaties voor transcriptie, richt dit specifieke onderzoek zich uitsluitend op de synergie tussen LLM's en ruimtelijke computing. Het volledige onderzoek is gepresenteerd voor de ACM VRST 2026.