Onderzoekers hebben ReferStream ontwikkeld, een nieuw framework dat het mogelijk maakt om tijdens het genereren van streaming video's op interactieve wijze nieuwe visuele objecten of personen toe te voegen zonder de bestaande scène te verstoren.
Het toevoegen van nieuwe onderwerpen aan een video die in real-time wordt gegenereerd, vormt een aanzienlijke technische uitdaging. Volgens een wetenschappelijk artikel dat op 27 oktober 2026 is gepubliceerd via arxiv.org, vereist dit proces een zorgvuldige integratie van nieuwe visuele referenties. De uitdaging ligt in het feit dat nieuwe elementen natuurlijk in de bestaande beelden moeten worden verweven, terwijl de reeds aanwezige subjecten en de algemene omgeving consistent moeten blijven.
De technische beperkingen van huidige systemen
In de huidige stand van zaken kampen veel systemen met een dilemma bij het verwerken van referenties. Wanneer visuele referenties onafhankelijk van de huidige scène worden gecodeerd, ontbreekt het aan voldoende sturing voor een vloeiende integratie. Aan de andere kant kan het opslaan van deze kenmerken in een permanent geheugen leiden tot interferentie met de reeds vastgestelde context van de video.
Om dit op te lossen, stellen Shuolin Xu en collega-onderzoekers voor. Een cruciaal kenmerk van dit framework is dat het geen extra training van het model vereist. Het systeem combineert de constructie van referenties op basis van de actuele scène met een methode voor tijdelijke cache-injectie.
Werking van Joint Latent en Cache Restoration
Het framework maakt gebruik van een techniek genaamd 'Joint Latent'. Hierbij worden de latente representaties van de referentie geplaatst in de doelgebieden van de meest recente scène-latent. Dit stelt het systeem in staat om referentiekenmerken direct binnen de context van de scène te extraheren.
Vervolgens wordt de 'Cache Restoration'-procedure toegepast. Deze methode gebruikt de geëxtraheerde kenmerken om het volgende segment van de video te conditioneren. Daarna worden de overschreven globale cache-vermeldingen hersteld, terwijl de nieuw gegenereerde geschiedenis behouden blijft. Volgens de auteurs van de maakt dit het mogelijk om nieuwe visuele condities toe te voegen zonder dat de generator opnieuw getraind moet worden of dat eerder gegenereerde frames aangepast moeten worden.
Introductie van ReferStream Bench
Om de effectiviteit van het systeem te meten, hebben de onderzoekers ook 'ReferStream Bench' ontwikkeld. Dit is een nieuwe benchmark die specifiek is ontworpen voor scenario's met geplande aankomsten van referenties, evoluerende instructies en expliciete annotaties over de aanwezigheid van subjecten. De benchmark richt zich op zowel 'InShot'- als 'MultiShot'-generatie.
Bij de evaluatie wordt gekeken naar verschillende parameters:
* De getrouwheid van de nieuw geïnjecteerde subjecten.
* Het behoud van reeds aanwezige subjecten.
* De algemene videokwaliteit en de mate waarin de tekstuele instructies worden opgevolgd.
* De nauwkeurigheid van het aantal objecten in beeld.
Resultaten en prestaties
De experimenten die zijn uitgevoerd op de ReferStream Bench tonen aan dat het framework superieur is aan bestaande baselines. Volgens de scoort ReferStream hoger op het gebied van tekstuele naleving, de gelijkenis van de subjecten en de telnauwkeurigheid. Opvallend is dat het systeem zelfs beter presteert dan offline methoden waarbij alle referenties vooraf bekend waren.
Het project, dat is bijgedragen door een team waaronder onderzoekers van diverse instellingen, is gedocumenteerd in een rapport van 18 pagina's. Meer informatie over de implementatie is beschikbaar via de projectpagina die in de wordt vermeld.