AI kan inmiddels indrukwekkende video's genereren, compleet met geluid. Maar komt dat geluid wel uit de juiste bron? En blijft het geluid behouden als de video van shot wisselt? Onderzoekers introduceerden daarom CAST-Bench: een benchmark die precies dit meet bij door AI gegenereerde audio-visuele content, met extra aandacht voor video's die uit meerdere shots bestaan.
Volgens het wetenschappelijke artikel op arxiv.org ontbreekt het in huidige evaluaties vaak aan een gebalanceerde verdeling van geluidsbronnen. Daardoor is het lastig te bepalen of een geluid ontbreekt, aan de verkeerde bron wordt toegeschreven of verloren gaat tijdens een overgang tussen shots.
🧠 Even simpel uitgelegd
Stel dat je AI de opdracht geeft: 'maak een video van een hond die blaft, en daarna iemand die gitaar speelt.' De benchmark controleert dan drie dingen: hoor je echt een blaffende hond (en geen kat)? Komt het geluid op het moment dat je de hond ziet? En blijft de gitaar hoorbaar zodra het tweede shot begint? CAST-Bench is dus eigenlijk een streng rapport dat AI-video's nakijkt op hun 'beloftes' over beeld én geluid.
Het 'audiovisueel contract'
Yucong Liu en collega-onderzoekers ontwikkelden CAST-Bench rond een kernconcept: het audiovisueel contract. Elk gevraagd geluid moet aan drie strikte voorwaarden voldoen:
- het geluid wordt uitgezonden door de juiste bron;
- het loopt synchroon met de bijbehorende visuele actie;
- het heeft de correcte semantische inhoud.
De benchmark is stevig opgezet: 900 prompts, verdeeld over negen categorieën geluidsbronnen van elk 100 prompts. Denk aan spraak, dieren, instrumenten, omgevingsgeluiden en overige emitter-types. De dataset telt 439 single-shot narratieven en 461 multi-shot narratieven. Elke prompt volgt een gestructureerde specificatie die het audio-event, de zender, het onderwerp en het exacte tijdslot in de video aan elkaar koppelt.
Wat de test laat zien
CAST-Bench beoordeelt systemen met een evaluatiesuite van 18 metrieken, verdeeld over drie dimensies: visuele prestaties, consistentie van de inhoud en de semantische uitlijning van audio en beeld.
De onderzoekers testten 12 representatieve generatoren. De uitkomst: de visuele kwaliteit van de toonaangevende systemen is bijna verzadigd — daar is weinig ruimte meer voor verbetering. De scores voor audio-semantiek verschillen daarentegen nog flink tussen de modellen.
Opvallend is dat multi-shot prompts bij toepassing van specifieke scoringsregels lager scoren dan single-shot prompts. Dat leidt zelfs tot een andere rangschikking van de geteste modellen.
De onderzoekers benoemen drie onopgeloste uitdagingen in de AI-generatie:
- Spraak van meerdere personen tegelijkertijd.
- Een consistente identiteit van de spreker behouden over verschillende shots heen.
- Audio-events behouden tijdens overgangen tussen shots.
Vrij beschikbaar voor verder onderzoek
Het volledige onderzoek — negen pagina's analyse en zes figuren — verscheen op 2 november 2026. De auteurs hebben zowel de prompts als de evaluatiecode publiek beschikbaar gesteld, om verdere ontwikkeling in het veld van T2AV-generatie te stimuleren.
Let op: de naam "CAST" verwijst hier naar de benchmark voor geluidsbronnen, niet naar commerciële technologie zoals google.com. CAST-Bench meet daarentegen de precisie van generatieve AI.