Stel je voor: je filmt een kamer met je telefoon, maar je wilt later kunnen rondkijken alsof je met een 360-gradencamera hebt opgenomen. Onderzoekers hebben nu een methode ontwikkeld die precies dat mogelijk maakt. Ze zetten standaard videobeelden van een bewegende camera om naar volledige panoramische 360-graden video.
De grootste uitdaging? Alles wat buiten het oorspronkelijke beeldkader viel, moet geloofwaardig worden ingevuld. Volgens een wetenschappelijk rapport op arxiv.org moet zo'n systeem aan drie strikte voorwaarden voldoen: wat tijdens de video zichtbaar wordt, moet behouden blijven; onzichtbare gebieden moeten geloofwaardig worden aangevuld; en de hele scène moet consistent blijven terwijl het camerapunt verschuift.
🧠 Even simpel uitgelegd
Een gewone camera filmt maar een klein deel van wat er om je heen gebeurt — net als dat je met je ogen maar één richting kunt kijken. De AI moet dus raden wat er achter de camera was. Dat doet het systeem door eerst een 3D-model van de scène te bouwen. Daarna vult een AI-model de gaten in, en die invullingen worden 'vastgepind' in dat 3D-model. Zo klopt het panorama vanuit elke kijkrichting, alsof je in een digitale replica van de ruimte staat.
Eén groot model werkt niet
Traditionele methoden proberen al die eisen tegelijk op te lossen met één enkel conditioneel videomodel. Dat systeem moet dan alles tegelijk leren van panoramische videodata — wat in de praktijk vaak tot beperkingen leidt.
De onderzoekers, waaronder Michael Wakeham en zijn collega's, kiezen een andere weg: een modulair, 3D-gestuurd framework. In plaats van één groot model verdelen ze de taken over gespecialiseerde componenten, verbonden via een gedeelde representatie van de scène. Het proces werkt in drie stappen:
- De invoerobservaties worden expliciet in 3D gereconstrueerd.
- Een vooraf getraind panoramisch beeldmodel vult de ontbrekende content aan vanuit een geselecteerde panoramische weergave.
- De gegenereerde content wordt vervolgens 'gelift' naar de gedeelde 3D-scène, waardoor de informatie ruimtelijk verankerd blijft — ongeacht waar de camera staat.
State-of-the-art zonder extra training
Opvallend: het framework heeft geen aanvullende training met panoramische video's nodig. Desondanks claimen de auteurs dat hun methode state-of-the-art resultaten behaalt op drie punten: de getrouwheid van het invoerbeeld, de perceptuele kwaliteit en de geometrische consistentie. Die resultaten zijn getest op een subset van statische scènes binnen de Argus-evaluateset.
Door de taken te splitsen, kan het systeem nauwkeuriger bepalen wat echt zichtbaar was en wat door AI moet worden ingevuld — zonder dat de ruimtelijke logica van de scène verloren gaat. De onderzoekers zien deze gedecomponeerde, 3D-gestuurde aanpak dan ook als veelbelovend alternatief voor directe videogeneratie.
Geaccepteerd op WACV 2027
Het onderzoek is officieel geaccepteerd voor presentatie op WACV 2027, een vooraanstaand congres voor computer vision. De meest recente versie (v2) werd op 5 november 2026 bijgewerkt. De volledige auteurslijst omvat naast Michael Wakeham ook Mrinmoy Kumar Das, Wenqi Wang, Ayush Tewari, Boqing Gong en Deepti Ghadiyaram.
De technologie is veelbelovend voor het creëren van immersieve ervaringen uit bestaande videobestanden. Maar er is een kanttekening: de focus ligt vooralsnog op statische scènes. Het integreren van bewegende objecten in het 3D-framework is waarschijnlijk de volgende stap.