Wetenschappers hebben een doorbraak geforceerd in de manier waarop computers de relatie tussen programmeercode en audio-output begrijpen. Met de ontwikkeling van PEACE, een systeem dat staat voor 'Joint Embeddings of DSP Effects Code and Audio', is het voor het eerst mogelijk om een gezamenlijke representatie te creëren van zowel de computercode van audio-effecten als het resulterende geluid. Volgens een wetenschappelijke publicatie op arxiv.org is dit een significante stap in het overbruggen van de kloof tussen digitale signaalverwerking (DSP) en de hoorbare uitkomst.
Het project, dat is ontwikkeld door David Braun en Adam Finkelstein, maakt gebruik van de functionele programmeertaal Faust. Deze taal is specifiek ontworpen voor DSP-toepassingen en vormt de basis voor de analyse binnen PEACE. Om de koppeling tussen code en geluid te realiseren, combineert het systeem een AFx-Rep audio-encoder met twee verschillende typen code-encoders. Zoals beschreven in de , is er geëxperimenteerd met een fijn afgestelde T5-transformer die direct de Faust-broncode analyseert, en een message-passing graph neural network (GNN). Dit laatste netwerk kijkt naar een tussenliggende representatie van de Faust-compiler, waardoor zowel de parameters van de gebruikersinterface als de topologie van het effect worden vastgelegd.
De prestaties van PEACE zijn getest via een proces van audio-to-code retrieval. Hierbij moet het model op basis van een audiofragment de bijbehorende code terugvinden. Een opvallend resultaat is dat PEACE in staat is om de topologie van een effectketen te herkennen, zelfs wanneer de parameters van de gebruikersinterface tijdens de inferentie zijn gemaskeerd. In dergelijke scenario's kan het model de volgorde van de keten herstellen met een nauwkeurigheid die ruim boven het toeval ligt. Wanneer de parameters wel beschikbaar zijn, tonen beide gebruikte code-encoders vergelijkbare resultaten bij het terugvinden van ketens met variërende lengtes.
Daarnaast blijkt het model superieur aan bestaande pretrained modellen bij het terugvinden van reverb-effecten die buiten de oorspronkelijke trainingsdata vallen. De auteurs stellen in hun dat PEACE bovendien in staat is om bevroren audio-only representaties te verbeteren. Hoewel PEACE een academisch model is voor het analyseren van DSP-code, bestaan er in de praktijk reeds diverse tools voor audio-aanpassing, zoals de sourceforge.net, die gebruikers in staat stelt om geluidsinstellingen op een meer toegankelijke manier te beheren.
De implicaties van dit onderzoek voor de toekomst van Music Information Retrieval (MIR) zijn groot. Omdat PEACE zowel de parameters als de topologie van DSP-code begrijpt, opent dit de weg naar nieuwe tools die specifieke code kunnen zoeken op basis van geluid, of zelfs nieuwe DSP-code kunnen genereren die is afgestemd op een specifieke audio-input. Het onderzoek is officieel geaccepteerd voor de conferentie ISMIR 2026. De volledige technische details en resultaten zijn terug te vinden in de , die onlangs is bijgewerkt met correcties ten opzichte van de definitieve versie.