Onderzoekers hebben een innovatief model ontwikkeld dat in staat is om ruimtelijke data uit audio-opnames te analyseren en te interpreteren. Dit nieuwe systeem, genaamd SpheraAudio, kan omgaan met een variabel aantal audiokanalen, waardoor het een breder scala aan opnametechnieken ondersteunt dan voorgaande modellen.
Binnen de ontwikkeling van grote audio-taalmodellen (LALM) is het gebruikelijk om audio te reduceren tot een enkel kanaal. Hoewel deze aanpak bijdraagt aan een stabieler algemeen begrip van geluid, gaat hierdoor essentiële informatie verloren. Specifiek gaat het om fase-relaties, die bepalen waar een geluidsbron zich precies bevindt. Hierdoor hadden bestaande systemen moeite met vragen over de exacte richting, afstand of de onderlinge positie van verschillende geluidsbronnen.
Flexibiliteit in audiokanalen
Om deze beperkingen te overbruggen, introduceerden Yuhuan You en collega-wetenschappers SpheraAudio. Een arxiv.org legt uit dat dit systeem opnames met diverse configuraties kan verwerken. Dit varieert van eenvoudige mono-opnames tot stereo en First-Order Ambisonics (FOA), alsof het gaat om een specifiek merriam-webster.com voor informatieoverdracht.
De technische innovatie zit in de omzetting van multichannel-spectra. Een ruimtelijke encoder transformeert deze complexe data naar zogenaamde 'spatial tokens'. Deze worden afgewisseld met reguliere audiotokens op specifieke tijdstippen, waardoor alle informatie in één enkele stroom wordt samengevoegd. Om de tijdsloten en modaliteiten herkenbaar te maken voor het model, is gebruikgemaakt van Spatial Multimodal RoPE (SMRoPE).
Geometrische redenering en training
Het leerproces van SpheraAudio is opgebouwd uit drie fasen: het vooraf trainen van de ruimtelijke encoder, de uitlijning van de projector en een afsluitende fase met een combinatie van reinforcement learning en supervised learning.
Een cruciaal aspect van dit proces is dat het model wordt getraind om antwoorden te formuleren via een 'spatial chain-of-thought'. In plaats van direct een locatie te noemen, voert het model een stapsgewijze geometrische redenering uit over de hoorbare scène. Volgens de stelt dit het systeem in staat om zowel statische als bewegende geluidsbronnen nauwkeuriger te lokaliseren en te volgen, zonder dat de algemene audio-capaciteiten worden aangetast.
De SpheraQA-benchmark
Naast het model hebben de ontwikkelaars de SpheraQA-benchmark geïntroduceerd. Dit was noodzakelijk omdat bestaande evaluatiemethoden vaak vastzitten aan één specifiek kanaalformaat en geen rekening houden met het bewijs van ruimtelijke redenering.
Zoals beschreven in de , bevat SpheraQA opnames in mono, stereo en FOA. De vragen zijn hiërarchisch gestructureerd, beginnend bij eenvoudige waarnemingen van een enkel kenmerk, via relaties tussen bronnen, tot complexe redeneringen in meerdere stappen. De resultaten worden getoetst aan gesimuleerde scènegeometrie en annotaties van echte opnames. De publieke release van deze benchmark is uitgebreid naar 22.197 vragen.
Conclusie en openbaarheid
SpheraAudio zet een nieuwe standaard voor het begrijpen van ruimtelijke audio en presteert superieur op zowel de eigen SpheraQA-benchmark als op andere publieke tests. Om de wetenschappelijke reproduceerbaarheid te garanderen, zullen de code, de dataset en de evaluatiemetrieken openbaar worden gemaakt.