Onderzoekers hebben een nieuwe methode ontwikkeld die in staat is om de geometrische indeling van kamers te reconstrueren door hersenactiviteit te combineren met cameratrajecten.
Een team wetenschappers, waaronder Chi-Wei Lee en vier medeauteurs, heeft een innovatieve techniek geïntroduceerd genaamd DRAFT (Decoding and Reconstructing 3D room lAyouts from fMRI and Trajectories). Volgens een publicatie op arxiv.org richt dit onderzoek zich op het herstellen van de metrische geometrie van binnenruimtes vanuit een bewegend standpunt, een uitdaging die tot nu toe grotendeels onopgelost bleef in de neurowetenschappen en computer vision.
De uitdaging van neurale reconstructie
Hoewel er reeds decoders bestaan die via functionele MRI-scans (fMRI) beelden en 3D-objecten kunnen reconstrueren, is het vastleggen van een volledige kamerindeling complexer. De onderzoekers stellen in hun dat er een aanzienlijke temporele mismatch bestaat tussen de snelle visuele veranderingen die een persoon waarneemt en de relatief trage, 'vervaging' van de fMRI-signalen in de hersenen.
De nieuwe methode probeert dit probleem op te lossen door geen gebruik te maken van visuele frames, maar uitsluitend te vertrouwen op twee datastromen: de bekende cameratrajecten van een virtuele wandeling door een ruimte en de fMRI-signalen van de proefpersonen die deze wandeling bekijken. DRAFT extraheert een compacte weergave van de layout uit de vroege visuele cortex en fuseert deze neurale code met de geometrische vrije ruimte die wordt afgeleid uit de beweging van de camera.
Resultaten en validatie
Om de effectiviteit van het systeem te meten, introduceerden de auteurs een nieuwe evaluatiemethode genaamd 'layout r'. Dit is de Pearson-correlatie tussen de voorspelde dieptes en de werkelijke log-dieptes. In een test met twintig deelnemers en tien scenario's die niet eerder waren getoond, behaalde DRAFT een score van 0,480.
Ter vergelijking: wanneer enkel de camerapad werd gebruikt, lag de score op 0,446. Zeven andere fMRI-decoders die werden getest, behaalden maximaal een score van 0,429, zoals vermeld in de . Een opvallend resultaat is dat DRAFT ook als plug-in kan fungeren. Zonder dat er opnieuw training nodig was, kon het systeem de prestaties van de zeven andere decoders verbeteren, waarbij hun scores stegen van een bereik tussen 0,171-0,429 naar 0,487-0,493.
Toekomstige toepassingen
De onderzoekers concluderen dat de combinatie van hersenactiviteit en camerabeweging het mogelijk maakt om de metrische layout van onbekende kamers te herstellen. Volgens de vormt dit een cruciale eerste stap richting het volledig reconstrueren van de 3D-ruimtes die mensen waarnemen.
Het onderzoek valt onder de categorieën Computer Vision en Pattern Recognition, alsook Machine Learning. Het volledige rapport beslaat 42 pagina's en bevat uitgebreide data in de vorm van 18 tabellen en 7 figuren om de beweringen over de neurale decodering te onderbouwen.
Opmerking: In de beschikbare bronnen is ook informatie aangetroffen over een simulator voor het spel FC 27 via futmind.com, maar deze data is irrelevant voor het wetenschappelijke onderzoek naar fMRI-reconstructie en is daarom niet in het artikel verwerkt.
Slot
Met de introductie van DRAFT is een belangrijke stap gezet in het overbruggen van de kloof tussen neurale signalen en ruimtelijke geometrie. Door hersenactiviteit te koppelen aan bewegingsdata, biedt deze methode een veelbelovend perspectief op het nauwkeurig decoderen van menselijke waarnemingen. Hiermee wordt een fundament gelegd voor toekomstige innovaties binnen zowel de neurowetenschappen als computer vision.