Onderzoeker Linus Franke heeft een nieuwe techniek ontwikkeld genaamd Hierarchical Incremental Beta Splatting (HIBS), die de snelheid en kwaliteit van online 3D-scènes verhoogt door het gebruik van beta-kernels in plaats van traditionele Gaussians.
De traditionele methode van Online 3D Gaussian Splatting kampt vaak met beperkingen tijdens het vastleggen van een scène. Omdat primitieven bij elk keyframe slechts één keer worden aangemaakt en daarna voor een beperkt aantal iteraties worden verfijnd, is er weinig ruimte om foutieve initialisaties of ontbrekende details te corrigeren. Bovendien zijn Gaussians van nature 'zacht', waardoor er veel overlap nodig is om solide oppervlakken te creëren.
De innovatie van Beta-kernels
Om deze problemen op te lossen, introduceert HIBS beta-kernels in het proces van incrementele reconstructie. Volgens de publicatie op arxiv.org beschikt deze methode over een vormparameter die kan interpoleren tussen een zacht profiel (vergelijkbaar met een Gaussian) en een platte, bijna ondoorzichtige 'surfel'. Dit fungeert in feite als een betrouwbaarheidsindicator voor de geometrie van de scène.
Het systeem maakt gebruik van 'confidence-aware spawning'. Hierbij worden geometrische observeerbaarheid en de overeenstemming van diepte uit meerdere weergaven gebruikt om zowel de opaciteit als de vorm te initialiseren. Hierdoor ontstaan solide primitieven op plaatsen waar de geometrie verifieerbaar is, terwijl op onzekere plekken zachte, corrigeerbare primitieven worden geplaatst.
Optimalisatie en rendering
Naast de nieuwe kernels introduceert HIBS een proces van 'error-driven relocation'. Hierbij worden verouderde primitieven gerecycled en verplaatst naar gebieden met een hoge fotometrische fout. Daarnaast maakt de methode gebruik van een 'level-of-detail' (LOD) hiërarchie via een vormbehoudende samenvoegingsformule, wat zorgt voor een snellere optimalisatie en rendering in real-time.
Op de projectpagina van linus-franke.com wordt toegelicht dat het systeem zeer efficiënt werkt. Zo kan een scène van de Mip-NeRF 360 dataset online worden gereconstrueerd vanuit een ruwe beeldstroom in ongeveer één minuut op één GPU, zonder dat daarvoor SfM-voorverwerking nodig is. De tijd tussen het eerste gestreamde frame en het eerste gerenderde beeld ligt tussen de 1,0 en 1,5 seconde.
Prestaties en resultaten
De resultaten van HIBS zijn positief wanneer ze worden vergeleken met i3DGS op de Mip-NeRF 360 dataset in het 'on-the-fly' protocol. De methode behaalt een verbetering van de PSNR (Peak Signal-to-Noise Ratio) tot 0,8 dB, terwijl de benodigde tijd voor optimalisatie met maximaal 40% wordt verminderd. Het onderzoek is inmiddels geaccepteerd voor de conferentie WACV 2027, zoals vermeld op papers.cool.
Bredere context in 3D-reconstructie
De ontwikkeling van HIBS past in een bredere trend binnen de computer vision om 3D Gaussian Splatting te verbeteren. Andere recente benaderingen richten zich op verschillende aspecten van het veld.
Daarnaast zijn er methoden ontwikkeld om expliciete meshes direct te extraheren uit Gaussians. Een voorbeeld hiervan is een framework dat gebruikmaakt van 3D Gaussian Triangulation om high-fidelity meshes incrementeel bij te werken, een onderwerp dat werd gepresenteerd tijdens de ECCV 2026 en gepubliceerd via springer.com.