Onderzoekers hebben UniAVC ontwikkeld, een enkel AI-model dat in staat is om zowel audio als video gelijktijdig te genereren, te bewerken en onderling te converteren zonder dat daarvoor specifieke adapters nodig zijn.
In een recent gepubliceerd wetenschappelijk rapport is UniAVC geïntroduceerd, een systeem dat streeft naar een volledige integratie van audio- en videocreatie. Het model is ontworpen om tekstgestuurde gezamenlijke synthese uit te voeren, wat betekent dat het op basis van een tekstuele beschrijving direct zowel beeld als geluid kan produceren. Daarnaast ondersteunt het model bidirectionele cross-modale generatie en bewerkingen op basis van instructies voor beide modaliteiten.
Overwinning van datatekorten
Een van de grootste uitdagingen bij het ontwikkelen van dergelijke systemen is de schaarste aan gekoppelde datasets, waarbij audio en video perfect op elkaar zijn afgestemd. Volgens de publicatie op arxiv.org leunen bestaande methoden te zwaar op deze zeldzame gepaarde corpora. Dit zorgt er vaak voor dat modellen hun capaciteiten voor het genereren en bewerken van individuele modaliteiten opnieuw moeten leren, terwijl er overvloedige hoeveelheden enkelvoudige data (alleen audio of alleen video) beschikbaar zijn.
Om dit op te lossen, hanteert UniAVC een strategie van progressieve training. Het model traint eerst elke tak afzonderlijk op unimodale datasets om volledige competentie in generatie en bewerking te bereiken. Pas in een volgende fase wordt gepaarde data ingezet om de correspondentie tussen audio en video te optimaliseren.
Asymmetrische scheduling en ruisbeheer
Een technisch kernpunt van UniAVC is de introductie van modality-decoupled schedulers. Traditionele systemen gebruiken vaak één gedeelde ruisschema voor beide modaliteiten, maar de onderzoekers stellen dat dit tekortschiet vanwege het verschil in informatiedichtheid. Video vereist namelijk een langere periode van hoge ruis om de ruimtelijke en bewegingsstructuren te organiseren, terwijl het minder complexe audiosignaal eerder in het proces kan stabiliseren.
Door de ruisschema's onafhankelijk van elkaar te vervormen vanuit een gedeelde tijdstap, kan UniAVC beter omgaan met deze dynamiek. Dit maakt onder andere "intent-aware editing" mogelijk. Hierbij kan één modaliteit intact blijven terwijl deze dient als beperking of richtlijn voor het aanpassen van de andere modaliteit. Daarnaast ondersteunt het systeem post-inference self-refinement, waarbij een gebruiker een onbevredigend onderdeel (bijvoorbeeld alleen de audio) kan regenereren terwijl het geaccepteerde deel (de video) behouden blijft.
Context van generatieve AI
De ontwikkeling van UniAVC past in een bredere trend van multimodale AI-systemen. Bedrijven zoals Google DeepMind werken aan diverse gespecialiseerde modellen voor creatieve output. Zo zijn er systemen zoals deepmind.google voor het genereren van cinematografische video's met audio, en voor het creëren van muziek en audio van hoge getrouwheid. Andere projecten, zoals , richten zich op het genereren van interactieve werelden.
Waar veel van deze systemen zich richten op specifieke taken of modaliteiten, probeert UniAVC deze functies te verenigen in één set gewichten. Dit betekent dat het model verschillende creatietaken kan uitvoeren zonder dat er voor elke taak een aparte aanpassing of adapter hoeft te worden toegevoegd.
Het volledige onderzoek naar UniAVC, inclusief de details over de asymmetrische scheduling en de trainingsmethodiek, is beschikbaar via de . De auteurs, waaronder Kien T. Pham en diverse andere onderzoekers, hebben het model gepresenteerd als een oplossing voor de beperkingen in huidige cross-modale generatieve systemen.