Een team van onderzoekers heeft een nieuwe techniek ontwikkeld om ontbrekende snelheidswaarden (velocity) in MIDI-bestanden te schatten voor instrumenten buiten de piano. De methode, gepresenteerd op de ISMIR-conferentie 2026, maakt gebruik van zogenaamde differentieerbare SoundFont-proxies om expressieve uitvoeringen nauwkeuriger vast te leggen.
Het probleem van ontbrekende velocity-data
Veel muziekdatasets bevatten MIDI-noten zonder betrouwbare snelheidswaarden, waardoor deze op een constante standaardwaarde worden gezet. Dit vormt een probleem, vooral buiten het pianodomein, omdat velocity een essentieel onderdeel is voor expressieve weergave, muziekgeneratie en prestatieanalyse, zo blijkt uit de arxiv.org.
Velocity bepaalt in MIDI hoe hard een noot wordt aangeslagen, wat direct invloed heeft op de luidheid en het karakter van het geluid. Bij piano's is dit relatief eenvoudig te meten, maar bij andere instrumenten ontbreekt deze informatie vaak in bestaande datasets.
Nieuwe aanpak voor instrumentaanpassing
De onderzoekers Zhanhong He, Hanyu Meng, David Defeng Huang en Roberto Togneri vertrekken vanuit een snelheidsschatter die getraind is op piano. Voor nieuwe instrumenten passen zij deze aan door te voorspellen welke snelheidswaarden nodig zijn zodat de weergave overeenkomt met de dynamiek van de uitvoeringsaudio.
De aanpassing kan op twee manieren gebeuren: via differentieerbare synthesizers (Diff-Synth) of via de nieuw voorgestelde differentieerbare SoundFont-proxies (Diff-SFProxy). Het onderzoek benadrukt de Diff-SFProxy-aanpak, die snelheid controleert via noot-specifieke, luidheid-gerelateerde akoestische parameters in plaats van golfvormreconstructie. Hierdoor worden de gradienten gericht op snelheid-afhankelijk gedrag.
Resultaten bij piano en gitaar
Experimenten met piano en gitaar tonen aan dat Diff-SFProxy effectief is voor het schatten van MIDI-snelheid over instrumenten heen. De onderzoekers stellen vast dat de op golfvormen gebaseerde Diff-Synth-methode juist leidt tot verminderde prestaties in deze context.
De keuze voor SoundFont-proxies is opvallend: SoundFonts zijn een veelgebruikt formaat voor geluidsbibliotheken dat instrumentgeluiden kan nabootsen. Door deze inzetbaar te maken als differentieerbare proxy's, kunnen onderzoekers het leerproces beter sturen op de aspecten die er voor velocity echt toe doen.
Relevantie voor muziektechnologie
De bevindingen zijn relevant voor uiteenlopende toepassingen binnen de muziektechnologie. MIDI-bestanden worden veelvuldig gebruikt in digitale audiowerkstations (DAW's) en leerplatformen. Zo biedt pianotify.com een bibliotheek met duizenden community-gedragen piano-MIDI-bestanden die online kunnen worden afgespeeld, geïmporteerd in software zoals FL Studio, Ableton of Logic Pro, en gebruikt voor het maken van pianorol-video's voor sociale media.
Voor dergelijke toepassingen is accurate velocity-informatie belangrijk om muziek natuurlijk en expressief te laten klinken. Wanneer die informatie ontbreekt of onbetrouwbaar is, klinkt het resultaat vaak vlak en mechanisch.
Publicatie en beschikbaarheid
Het artikel is op 10 augustus 2026 ingediend bij arXiv en geaccepteerd voor de ISMIR-conferentie 2026, een toonaangevend evenement op het gebied van muziekinformatie-onderzoek. De is beschikbaar via arXiv, inclusief een HTML-versie voor eenvoudiger lezen. De onderzoekers hebben ook een TeX-bronbestand en een PDF-versie van het document beschikbaar gesteld.
De studie valt onder het onderzoeksgebied Audio- en Spraakverwerking (eess.AS) en is geregistreerd onder het arXiv-identificatienummer 2608.08985. De onderzoekers hebben hun werk gelicenseerd en bieden het aan via de standaard arXiv-kanalen, met een DOI die via DataCite wordt geregistreerd.