Stel je voor: je speelt een game en de muziek moet je herinneren aan een eerder thema — maar net genoeg om vertrouwd te voelen, niet zoveel dat het gaat vervelen. Precies dat balanspunt wil een nieuw onderzoeksproject veroveren met AI.
Het probleem? Traditionele muziekmodellen kunnen moeilijk sturen hóé gelijkaardig een nieuw fragment moet klinken bij bestaande muziek. Shangxuan Luo en zijn team bedachten daarvoor een oplossing met zogenaamde 'similarity-labels': labels die aangeven hoe dicht de output bij het origineel moet blijven. Ze namen een vooraf getraind MIDI-model en verfijnden dat met sectieparen uit de muziek van Super Mario. Het onderzoek staat beschreven in de publicatie arxiv.org.
🧠 Even simpel uitgelegd
Denk aan een kopieerapparaat met een instelknop van 0 tot 10. Op 0 krijg je iets totaal nieuws, op 10 een exacte kopie. De onderzoekers bouwden zo'n 'knop' voor muziek: het AI-model krijgt een stukje bestaande muziek (de context) plus een label dat zegt hoe gelijkaardig het nieuwe stukje moet zijn. Zo kun je de computer vragen: 'maak iets dat klinkt als dat Mario-thema, maar net anders genoeg.'
De truc zit in de combinatie van twee ingrediënten: een contextvector die de kenmerken van het originele muziekfragment vastlegt, en een label dat de gewenste gelijkenis aangeeft. Het systeem kan zo alles genereren, van een bijna letterlijke herhaling tot materiaal dat volledig nieuw aanvoelt. Om te bewijzen dat het werkt, genereerden de onderzoekers voor 157 verschillende contexten telkens zes outputs per label.
Hoe weten we dat het klopt? De resultaten werden gecheckt met twaalf verschillende meetwaarden, verdeeld over categorieën als ritme, toonhoogte-inhoud, melodie en notenlengte. De data laten zien dat fragmenten die als 'gelijkaardig' werden aangevraagd inderdaad meer overlap vertoonden met de context dan fragmenten met een label voor lage gelijkenis. Volgens de analyse op papers.cool kwamen menselijke luistertests bovendien het beste overeen met de objectieve meetwaarden voor melodische overlap.
Nog twee belangrijke bevindingen. Eén: de gegenereerde fragmenten reageerden specifiek op de gegeven context en vertoonden geen onbedoelde gelijkenissen met andere stukken. Twee: in vergelijking met een identiek model zónder labels leidde enkel de aanvraag voor hoge gelijkenis effectief tot een meer gelijkaardige output. Het onderzoek is ook terug te lezen via deeppaper.ai.
Het onderzoek past in een bredere trend. AI-gestuurde muziekcreatie verschuift steeds meer naar deep learning en het gebruik van diverse muziekdatasets, wat de weg vrijmaakt voor interactieve en co-creatieve systemen. Een artikel via springer.com beschrijft hoe innovatieve benaderingen in zowel symbolische als audio-generatie de sector transformeren.
Voor de game-industrie is dit bijzonder relevant. Daar moet muziek soms urenlang functioneren zonder aan dynamiek te verliezen. Door de structurele samenhang met similarity-labels beter te beheersen, kan AI straks effectief helpen bij soundtracks die zowel coherent als verrassend zijn.