Stel je voor: een historische opname met een groot gat erin. Nieuwe AI-techniek vult dat gat zo natuurlijk op dat het menselijk oor het verschil niet hoort.
Wetenschappers Sean Turland, Eloi Moliner en Vesa Välimäki presenteerden op 8 november 2026 een methode voor 'music inpainting'. Daarbij vervangt het systeem beschadigde of ontbrekende segmenten van een audiofragment door nieuwe content die naadloos aansluit bij de rest van de opname. De techniek heet Similarity-Guided Diffusion Posterior Sampling, kortweg SimDPS. Volgens de arxiv.org is de methode speciaal ontworpen om grote stukken audio te vervangen door passende alternatieven.
Hoe SimDPS werkt
SimDPS doet het slimmer dan traditionele methoden die uitsluitend op generatieve modellen leunen. De aanpak telt twee stappen. Eerst zoekt het systeem in de bredere audio-signaalstroom naar kandidaat-segmenten die lijken op het ontbrekende deel. Die fragmenten dienen vervolgens als leidraad voor een diffusiemodel, dat de uiteindelijke reconstructie vormgeeft.
Een groot voordeel: SimDPS is model-agnostisch. De techniek werkt met diverse vooraf getrainde diffusiemodellen, zowel in het latente domein als in het waveform-domein. Daardoor is hij breed inzetbaar voor uiteenlopende audio-bewerkingen.
🧠 Even simpel uitgelegd
Een diffusiemodel is een AI die leert hoe muziek 'klinkt' door eerst willekeurige ruis stap voor stap om te zetten in echte audio. Bij inpainting geeft je de AI een opname met een gat erin. SimDPS zoekt eerst in dezelfde opname naar stukjes die op het ontbrekende deel lijken — als een puzzel waarbij je kijkt welke stukken passen. Die voorbeelden sturen de AI, zodat het nieuwe stuk perfect aansluit bij de rest.
Beter dan de concurrentie
De onderzoekers testten SimDPS objectief tegen bestaande systemen zoals DPS en RePaint. SimDPS presteerde superieur op basis van neurale-embedding afstand en akoestische kenmerken.
Ook luisteraars waren aan zet. In subjectieve tests met muziek uit diverse genres scoorde de methode hoger op 'perceptuele plausibiliteit': mensen ervaren de reconstructies als natuurlijker en geloofwaardiger. Bovendien blijft het systeem robuust, zelfs wanneer de gekozen kandidaten voor de invulling niet perfect aansluiten.
Waarom dit belangrijk is
De toepassingen reiken verder dan de studio. Vooral voor het redden van beschadigde opnames is het vermogen om grote gaten onzichtbaar op te vullen essentieel. De auteurs verwachten dat hun bevindingen contextbewuste audio-editing en muziekrestauratie flink verbeteren.
Het onderzoek is officieel geaccepteerd voor de conferentie ISMIR 2026. Andere wetenschappers en ontwikkelaars kunnen audio-voorbeelden en code downloaden om het algoritme zelf te testen.
Terwijl platforms zoals hoopladigital.com zich richten op de distributie van populaire muziek via publieke bibliotheken, richt dit academische werk zich op de fundamentele technologie achter het behoud van die audiobestanden. Op termijn zou dit soort AI-instrumenten de standaard kunnen worden in professionele audio-engineering.