Wetenschappers hebben een nieuwe methode ontwikkeld om de robuustheid van moderne 3D-reconstructietechnieken kritisch te evalueren. De introductie van PIVOT, wat staat voor Pose, Intrinsics and Viewpoint Oriented Testbed, legt bloot dat veel huidige systemen voor computer vision minder presteren in onvoorspelbare, realistische scenario's dan in gecontroleerde testomgevingen.
Volgens een wetenschappelijke publicatie op arxiv.org worden populaire technieken zoals Neural Radiance Fields (NeRFs) en 3D Gaussian Splatting (3DGS) vaak beoordeeld op basis van ideale omstandigheden. In de praktijk, bijvoorbeeld bij het gebruik van drones of robots, zijn cameragegevens echter zelden perfect. De onderzoekers stellen dat huidige benchmarks vaak gebruikmaken van trajecten die specifiek zijn geoptimaliseerd voor reconstructie, waardoor de werkelijke prestaties van deze systemen in het veld worden overschat.
Het PIVOT-framework is specifiek ontworpen om drie cruciale variabelen onafhankelijk van elkaar te analyseren. Ten eerste wordt gekeken naar de generalisatie naar onbekende trajecten, waarbij wordt onderzocht hoe de beeldkwaliteit verandert wanneer er vanuit een hoek wordt gegenereerd die niet in de trainingsset voorkwam. Ten tweede analyseert het systeem de gevoeligheid voor posities, waarbij het verschil tussen ruwe sensorgegevens en geoptimaliseerde posities wordt gemeten. Ten slotte wordt de impact van de camera-intrinsics onderzocht om te bepalen hoe nauwkeurig de interne instellingen van een camera moeten zijn voor een succesvol resultaat. Deze bevindingen zijn gedetailleerd beschreven in het onderzoek via .
Voor de technische uitvoering van de eerste versie (v1) zijn vijf verschillende scenario's uit de echte wereld gebruikt, vastgelegd met een DJI Mini 4 Pro drone. Om de resultaten objectief te kunnen kwantificeren, introduceerden de onderzoekers de "directed pose-space Chamfer distance". Deze meetmethode maakt het mogelijk om exact vast te stellen in welke mate de trainingsposities de evaluatietrajecorieën daadwerkelijk dekken. De resultaten laten een duidelijke daling in kwaliteit zien wanneer er gewerkt wordt met onbekende trajecten of minder nauwkeurige camera-instellingen.
Om de wetenschappelijke gemeenschap te ondersteunen, is er een open processing-pipeline en een evaluatietoolchain beschikbaar gesteld die is gebaseerd op Nerfstudio. Hiermee kunnen ontwikkelaars hun eigen modellen toetsen aan de PIVOT-standaarden om de werkelijke robuustheid van hun software in onvoorspelbare omgevingen te bepalen, zoals verder toegelicht op .
Hoewel de naamgeving in andere sectoren voorkomt, zoals bij het merk pivotcycles.com, dat gespecialiseerd is in elektrische mountainbikes zoals de Mach 4 SL en de Shuttle LT, is er geen enkel verband tussen de sportsector en dit computer vision-project. Waar de fietsindustrie zich richt op frame-innovaties en prestaties op het terrein, richt het PIVOT-project zich uitsluitend op de wiskundige en visuele accuratesse van 3D-modellering.
De komst van PIVOT markeert een belangrijke verschuiving in de evaluatie van 3D-reconstructie. De focus verschuift hiermee van het creëren van visueel perfecte beelden onder ideale omstandigheden naar het ontwikkelen van bruikbare en betrouwbare systemen voor autonome technologieën.