De ontwikkeling van immersieve technologieën, zoals telepresence en digitale tweelingen, stuit vaak op technische beperkingen door de enorme rekenkracht en opslagruimte die nodig zijn voor real-time 3D-reconstructies. Om deze barrières te doorbreken, hebben Yiwei Li en een team van onderzoekers een nieuw framework geïntroduceerd genaamd Structured Sparse Gaussian Streaming (S$^2$GS). Volgens een publicatie op arxiv.org maakt dit systeem het mogelijk om geavanceerde visuele diensten te draaien op apparaten met beperkte middelen, zoals Edge-IoT-systemen.
Innovatie door strategische updates
De kern van de nieuwe methode is het optimaliseren van hoe video-informatie wordt verwerkt. In plaats van elk frame volledig opnieuw te berekenen, maakt S$^2$GS gebruik van temporele en ruimtelijke 'sparsity'. Dit betekent dat het systeem selectief bepaalt welke onderdelen van het beeld, de zogenaamde 'Gaussian residuals', daadwerkelijk bijgewerkt moeten worden.
Om dit proces te sturen, maakt het framework gebruik van een streaming octree in het ruimtelijke domein, wat helpt bij het vastleggen van correlaties. In het temporele domein wordt een gating-mechanisme ingezet dat Gumbel-Sigmoid-sampling combineert met 'hierarchical feature propagation' (HFP). Deze aanpak zorgt ervoor dat dynamische signalen efficiënt worden omgezet in beslissingen over welke updates noodzakelijk zijn. Daarnaast is er een multi-level discreet schema geïmplementeerd om de visuele kwaliteit te bewaken. Zoals beschreven in het onderzoek op , biedt dit een nauwkeurige controle over de updates, waardoor complexe details behouden blijven zonder de efficiëntie aan te tasten.
Prestatiewinst op diverse hardware
De effectiviteit van S$^2$GS is uitgebreid getest op verschillende configuraties, van krachtige consumenten-GPU's tot industriële IoT-hardware. De resultaten tonen een aanzienlijke verbetering ten opzichte van bestaande technieken. Bij tests met een RTX 4090 GPU wist S$^2$GS de optimalisatietijd per frame met 59% te verlagen vergeleken met de QUEEN-methode. Tegelijkertijd daalden de opslagkosten met 85%, terwijl de beeldkwaliteit op een concurrerend niveau bleef.
De meest significante winst is echter behaald op hardware met beperkte rekenkracht. Op een Jetson AGX Orin leverde het framework de hoogste rendering-doorvoer met meer dan 60 frames per seconde (FPS). Bovendien vertoonde het systeem het laagste energieverbruik van alle geteste methoden, wat essentieel is voor inzetbaarheid op mobiele en embedded systemen.
Verschuiving naar immersieve communicatie
Deze technologische sprong komt voort uit een bredere trend waarbij digitale communicatie interactiever wordt. Waar huidige platforms voor videobellen, zoals live.com, zich primair richten op platte videostreams en AI-ondersteuning, streeft S$^2$GS naar een ervaring waarbij gebruikers vrij kunnen bewegen door een volledig gereconstrueerde 3D-omgeving.
Door deze processen direct op Edge-IoT-apparaten uit te voeren, kunnen zware berekeningen dichter bij de bron plaatsvinden. Dit vermindert de afhankelijkheid van centrale servers en verlaagt de latentie, wat cruciaal is voor industriële toepassingen. Het volledige onderzoek en de bijbehorende code zijn beschikbaar gesteld via de projectpagina die is gelinkt in de publicatie op . De resultaten suggereren dat real-time Free-Viewpoint Video nu technisch haalbaar is voor een breed scala aan mobiele apparaten.