Onderzoekers hebben GSCV++ ontwikkeld, een lichtgewicht pijplijn die is ontworpen voor de compressie van 3D Gaussian Splatting (GS)-sequenties met behulp van standaard videocodecs. De methode richt zich op het verlagen van de computationele complexiteit en het verbeteren van de hardwarecompatibiliteit voor industrieel gebruik.
Optimalisatie van de compressiepijplijn
De GSCV++-methode introduceert drie kernverbeteringen in het proces van GS-compressie: de voorbewerking, de mapping van 3D naar 2D en de configuratie van de videocompressie zelf. Volgens een publicatie op arxiv.org maakt de pijplijn gebruik van een energie-adaptieve inter-frame spherical harmonic (SH) alternative current (AC) dimensionaliteitsreductie, aangeduid als EA-SHDR. Deze techniek creëert een stabiele en compacte temporele feature-ruimte, waardoor redundante informatie wordt geëlimineerd en het datavolume voor latere stappen wordt verminderd.
Voor de mapping van 3D-gegevens naar 2D-kaarten is P-MiniPLAS ontwikkeld. Deze prior-gebaseerde Inter-MiniPLAS-methode genereert vloeiende 2D-feature-kaarten via remapping op kleine schaal en inferentie van wegingsfactoren. In vergelijking met traditionele methoden zoals de Morton scan of Parallel Linear Assignment Sorting (PLAS), zorgt P-MiniPLAS voor kaarten die beter aansluiten bij de werking van videocodecs, terwijl de rekenlast laag blijft, zoals beschreven door arxivlens.com.
Efficiëntie en praktische toepassing
Een derde pijler van het systeem is de Content-Aware Generalized Compression (CA-GC). Deze module maakt gebruik van een niet-uniforme bit-diepteverdeling voor het genereren van coördinaatkaarten. Daarnaast is er een selectieprocedure voor de grootte van de coding unit (CU) geïmplementeerd om de complexiteit van de compressie effectief te beheersen. Volgens DeepPaper stelt dit de software in staat om de volledige prestaties van bestaande videocodecs te benutten zonder dat daarvoor wijzigingen in de normatieve standaarden nodig zijn.
De resultaten van experimenten tonen aan dat GSCV++ aanzienlijke verbeteringen boekt ten opzichte van huidige state-of-the-art (SOTA) methoden. Er is een winst in de rate-distortion (RD) prestaties gerapporteerd van meer dan 20% voor intra-predictie en meer dan 60% voor inter-predictie. Bovendien is de methode sneller in het genereren van 2D-kaarten en in zowel het coderen als decoderen van de data dan concurrerende methoden die vergelijkbare videocodecs gebruiken, meldt papers.cool.
Context en evolutie van GS-compressie
GSCV++ bouwt voort op eerder onderzoek naar lichtgewicht compressie. Een eerdere iteratie, LGSCV, richtte zich reeds op het gebruik van een twee-staps Morton scan om blokgewijze 2D-kaarten te genereren die compatibel waren met vierkante coding units in videocodecs. In dat eerdere werk werd ook PCA (Principal Component Analysis) ingezet voor dimensionaliteitsreductie van spherical harmonics om kwaliteitsverlies bij lage bitrates tegen te gaan, zoals vermeld in een eerdere publicatie op arxiv.org.
De nieuwste versie, GSCV++, verfijnt deze processen verder om een efficiëntere en snellere workflow te bieden voor complexe 3D-sequenties.