De productie van uitgebreide video's op basis van een gesproken script is een complex proces waarbij visuele consistentie over verschillende scènes behouden moet blijven. Traditionele AI-gestuurde editors maken vaak gebruik van versnipperde workflows die worden aangestuurd door algemene taalmodellen, wat vaak leidt tot een inefficiënte balans tussen de uiteindelijke kwaliteit en de operationele kosten. Om dit te doorbreken, is WeVisCut ontwikkeld, een systeem dat fungeert als een autonome montagekamer.
Een geïntegreerde benadering van productie
In tegenstelling tot bestaande methoden koppelt WeVisCut de uitvoering van tools direct aan policy learning. Het systeem maakt gebruik van een specifieke 'agent harness' die een centrale status van de productie bijhoudt. Hierdoor kan de AI direct reageren op feedback van gebruikte tools, wat essentieel is voor het nemen van opeenvolgende beslissingen en het autonoom herstellen van montagefouten.
Volgens een technisch rapport op arxiv.org is het model getraind via een data-pipeline die uit vier fasen bestaat. Omdat de exacte montagekeuzes in bestaande video's vaak onzichtbaar zijn, hebben de onderzoekers een techniek genaamd 'editing inversion' gecombineerd met geverifieerde weergaven. Deze aanpak is toegepast op 3.750 voltooide video's, wat leidde tot een dataset van ruim 130.000 trainingsvoorbeelden, zoals verder uitgelicht in de arxiv.org.
Technische architectuur en efficiëntie
De kern van WeVisCut bestaat uit een enkel beleidsmodel met 9 miljard parameters (9B). Dit model is verantwoordelijk voor de coördinatie van het gehele proces, van de initiële planning tot de uiteindelijke inspectie en reparatie van het beeldmateriaal. Om de prestaties te valideren, is het systeem onderworpen aan een benchmark van 100 diverse taken, waarbij vijf verschillende metrieken werden gebruikt om zowel de betrouwbaarheid als de visuele kwaliteit te meten.
De resultaten laten zien dat WeVisCut superieur is aan zijn basismodel. In een vergelijking met Claude Opus 5 bleek het systeem vergelijkbare resultaten te leveren, maar met een drastisch lagere rekenlast. WeVisCut verbruikt namelijk bijna 33 keer minder gegenereerde tokens per succesvolle outputminuut. Daarnaast presteert de agent beter dan native editors die voor dezelfde specifieke taken zijn geconfigureerd.
Ontwikkeling en openbare beschikbaarheid
Het project is het resultaat van een samenwerking tussen onderzoekers van de Xidian University en WeChat Vision van Tencent. Om verdere innovatie in de sector te stimuleren, zijn de resultaten en de implementatie breed gedeeld. De modelgewichten zijn beschikbaar gesteld via de huggingface.co, waar het systeem is gecategoriseerd als een 'Any-to-Any' model.
Naast de modelgewichten is ook de broncode via GitHub openbaar gemaakt. Voor geïnteresseerden in de nieuwste ontwikkelingen rondom AI-modellen en papers biedt huggingface.co een overzicht van soortgelijke technologische doorbraken.
WeVisCut is in staat om content te genereren voor een breed scala aan domeinen, waaronder technologie, gezondheidszorg, geografie, geschiedenis en wetenschap. Door planning, retrieval, compositie en correctie te integreren in één enkele agent, transformeert het systeem de videomontage van een reeks losse AI-stappen naar een gestroomlijnd en autonoom productieproces.