Onderzoekers hebben InstantHMR ontwikkeld, een nieuwe reeks open-source modellen die het mogelijk maakt om razendsnel een 3D-mesh van het menselijk lichaam te reconstrueren vanuit een enkele afbeelding, direct op mobiele apparaten.
Het vastleggen van een driedimensionaal menselijk lichaam op basis van één enkele foto is een complexe technische uitdaging, zeker wanneer dit in real-time moet gebeuren op hardware met beperkte rekenkracht. Volgens een wetenschappelijke publicatie op arxiv.org kampen huidige state-of-the-art modellen vaak met een dilemma: ze zijn ofwel te traag voor efficiënt gebruik op mobiele toestellen, of ze offeren een aanzienlijk deel van hun nauwkeurigheid op om de snelheid te verhogen.
Technische innovatie en prestaties
De nieuwe methode, genaamd InstantHMR, is ontwikkeld door Mohamed Adjel, Kahina Chalabi en Vincent Bonnet van LAAS-GEPETTO. Het systeem is gebaseerd op het parametrische model Momentum Human Rig (MHR) en is uitsluitend getraind met behulp van publiek beschikbare annotaties uit de SAM 3D Body-dataset.
De prestaties van InstantHMR zijn volgens de onderzoekers opvallend. Bij tests op een Samsung Galaxy S23 NPU (Neural Processing Unit) slaagde het model erin om een body-mesh bestaande uit 6.890 vertices in slechts 5,5 milliseconden per persoon te reconstrueren. Wanneer het systeem wordt ingezet op een NVIDIA RTX 4070 GPU, daalt deze tijd zelfs tot 0,98 milliseconden. Volgens de auteurs van het artikel op overtreft deze snelheid alle andere methoden die zij hebben geëvalueerd.
In vergelijking met de enige andere mobiel-compatibele methode die een fractie nauwkeuriger is, is InstantHMR maar liefst twaalf keer sneller. De nauwkeurigheid blijft desalniettemin concurrerend, met resultaten van 40,0 mm PA-MPJPE op de 3DPW-dataset, 48,8 mm op EMDB en 41,7 mm op RICH.
Validatie en transparantie
Om een eerlijke vergelijking te garanderen, hebben de onderzoekers elf verschillende state-of-the-art methoden opnieuw geëvalueerd onder een uniform protocol. Dit protocol is afgestemd op de nauwste concurrenten die eveneens gebaseerd zijn op MHR, inclusief de officiële conversie van Meta van MHR naar SMPL.
Daarnaast is de latentie van het systeem gemeten op acht verschillende doelen, variërend van desktop TensorRT tot twee verschillende smartphone-NPU's. De code en de gebruikte modellen zijn open-source beschikbaar gesteld om verdere ontwikkeling in het vakgebied te stimuleren, zoals vermeld in de documentatie op .
Toepassingsgebieden
De mogelijkheid om real-time 3D-lichaamsreconstructie naar de smartphone te brengen, opent de deur naar diverse praktische toepassingen. De onderzoekers wijzen in hun publicatie op specifiek op de volgende sectoren:
- Robotica: Voor een betere interactie tussen mens en machine.
- Biomechanica: Voor het analyseren van bewegingen zonder dat er dure laboratoriumapparatuur nodig is.
- AR/VR: Voor een meer naadloze integratie van digitale avatars in augmented en virtual reality.
- Exergames: Fitnessgames die nauwkeuriger kunnen reageren op de fysieke houding van de gebruiker.
Terwijl de technologische vooruitgang in AI-modellen voor beeldverwerking versnelt, blijft de optimalisatie voor mobiele hardware een cruciaal punt. InstantHMR probeert dit gat te dichten door hoge snelheid te combineren met een acceptabel niveau van precisie, waardoor complexe computervisie-taken toegankelijk worden voor het grote publiek via hun eigen smartphone.