Een recent wetenschappelijk rapport onthult dat de subjectieve ervaring van muziek geanalyseerd kan worden door te onderzoeken hoe luisteraars nummers combineren tijdens hun sessies. Door deze patronen te bestuderen, kunnen onderzoekers een zogenaamde 'ervaringsstructuur' identificeren. Dit is een vorm van gelijkenis tussen muziekstukken die niet via traditionele metadata of genre-labels wordt gevonden, maar die voortvloeit uit het daadwerkelijke gedrag van de gebruiker.
Het initiatief, dat bekendstaat als Project Qualia, beoogt aan te tonen dat de samenstelling van luistersessies een diepere laag van de muzikale beleving blootlegt. Om dit te onderzoeken is een enorme dataset samengesteld met 1,29 miljard 'scrobbles' van 9.396 gebruikers. Na een voorbereidingsfase bleven er 531,6 miljoen trainingsscrobbles over, verdeeld over 28,6 miljoen sessies. Volgens een publicatie op arxiv.org is hiervoor een specifiek model gebruikt, genaamd 'Song2Vec', wat is afgeleid van een 'skip-gram Word2Vec'-benadering.
Binnen dit model wordt elke luistersessie beschouwd als een zin, waarbij elk individueel nummer fungeert als een 'token' of woord. Op deze manier kan het systeem leren welke nummers vaak in dezelfde context worden beluisterd, wat resulteert in een wiskundige representatie, ook wel een embedding space genoemd.
Een aanzienlijke uitdaging in het onderzoek was de sterke invloed van de artiest. Omdat mensen vaak meerdere tracks van dezelfde maker achter elkaar luisteren, werd de data aanvankelijk gedomineerd door de identiteit van de artiest in plaats van de sfeer van het nummer. Om dit op te lossen, hebben onderzoekers Nizam Mohammed, Abu B. S. Rahman en Dimuthu D. K. Arachchige een 'artist-residual procedure' ontwikkeld. Hierbij wordt het gemiddelde centrum van een artiest afgetrokken van de embeddings van de nummers, waardoor de invloed van de artiest wordt geneutraliseerd en een 'residuele ruimte' ontstaat.
De resultaten van deze methode waren opvallend. Terwijl de gemiddelde cosinus-gelijkenis tussen verschillende artiesten in de ruwe data 0,2487 was, daalde dit in de residuele ruimte naar 0,0005. Toch bleven 4.577 paren van nummers van verschillende artiesten een zeer hoge gelijkenis behouden, met een cosinus-waarde van 0,70 of hoger. Zoals beschreven in het rapport op , vormden deze paren coherente clusters op basis van genres en tijdperken, zoals trip-hop, grunge uit de jaren 90 en mainstream pop uit 2020. Ook klassieke pianostukken van diverse componisten vertoonden een sterke gelijkenis, in sommige gevallen tot 0,95.
De conclusie van Project Qualia is dat trainingsdata van luistergedrag een ervaringslaag bevat die volledig losstaat van de identiteit van de artiest. Dit biedt een empirische basis voor nieuwe architecturen die specifiek zijn ontworpen om deze subjectieve laag van muziek direct te leren. Het rapport, dat op 9 september 2026 is ingediend, is terug te vinden op onder de categorieën Machine Learning, Information Retrieval en Sound.
Het is overigens belangrijk om dit musicologische onderzoek te onderscheiden van zakelijke softwaretools. Zo is er bijvoorbeeld uptodown.com, een applicatie die volgens informatie van Uptodown wordt gebruikt voor het plannen en monitoren van werkprocessen via resourcebeheer en Gantt-diagrammen. Deze projectmanagementtool heeft geen enkele relatie met de computationele analyse van muziekervaringen binnen Project Qualia.