Wil je alleen de achtergrond van een video van stijl laten veranderen, terwijl de personages exact hetzelfde blijven? Dat kan nu met LociArt, een nieuw AI-systeem dat gericht stukken video kan omtoveren — zonder de rest van het beeld te raken.
Videostylisering bestaat al langer, maar die werkt bijna altijd op de hele scène: één filter over het volledige beeld. Slechts één onderdeel van een video artistiek aanpassen — zogenaamde lokale bewerking — is een stuk lastiger. Volgens een publicatie op arxiv.org vraagt dat om drie dingen tegelijk: een precieze koppeling tussen de regio en de stijl, strikte ruimtelijke controle en een vloeiend verloop tussen de frames, ook wel temporele consistentie genoemd.
🧠 Even simpel uitgelegd
Stel je voor dat je een foto hebt waarop je alleen de lucht wilt vervangen door een schilderij van Van Gogh, maar de rest van de foto exact hetzelfde moet blijven. Voor één foto is dat al lastig; voor video wordt het nog moeilijker, want elk frame moet er hetzelfde uitzien — anders flikkert de stijl steeds. LociArt is een AI-systeem dat precies dat oplost: jij wijst aan wélk deel van de video welke stijl krijgt, en de AI zorgt dat dat deel er in élk frame goed uitziet, terwijl de rest van het beeld onaangeroerd blijft.
Zo werkt LociArt en GRNStyle
De auteurs, Yuxuan Chen en collega's, introduceerden LociArt als een nieuw paradigma. De gebruiker geeft expliciet aan welk deel van de video gestileerd moet worden en met welke stijl. Cruciaal daarbij: de inhoud buiten de geselecteerde gebieden blijft volledig behouden.
De kern van de technologie is GRNStyle, een component gebaseerd op Generative Refinement Networks (GRN). GRNStyle gebruikt een 'polar style-aware mask': een masker dat stijlidentiteiten als richtingen integreert binnen de geselecteerde regio's. Daarnaast past het systeem representatie-geometrie conditionering toe, waarbij gecodeerde maskerkenmerken worden gecombineerd met de ruimtelijke ondersteuning van het ruwe masker. Zo smelt het systeem spatiotemporele context samen met geometrische controle.
Dataset en benchmark
Om te bewijzen dat LociArt werkt, bouwden de onderzoekers een geautomatiseerde pijplijn voor trainingsdata. Die combineert technieken zoals globale stylisering, het verwijderen van objecten uit video's, matting en compositing. Het resultaat: de LociArt-100K Dataset, met 100.000 paren van lokale styliseringen.
Daarnaast stelden ze de LociArt Benchmark op: 80 bronvideo's en 84 doelmaskers, goed voor 168 verschillende scenario's voor het styliseren van voorgronden en achtergronden. Voor de evaluatie van de regionale stijlkwaliteit ontwikkelden ze een specifiek schema, Style Prototype Similarity (SPS). Daarbij meten ze ook hoe onaangetast de niet-doelgebieden blijven en hoe consistent de beelden over de tijdlijn van de video zijn.
De resultaten
De experimenten laten zien dat GRNStyle beter presteert dan bestaande methoden, vooral op regionale stijlkwaliteit en ruimtelijke beheersbaarheid. Opvallend: het systeem kan meerdere regio's tegelijk styliseren met verschillende of dezelfde geleerde stijlen — terwijl het alleen getraind werd op paren met één regio en één stijl.
De volledige details en de implementatie van het onderzoek zijn te vinden via de publicatie op arxiv.org. Het project situeert zich in de vakgebieden Computer Vision, Pattern Recognition en Artificiële Intelligentie. Voor de technische specificaties verwijzen de auteurs naar hun projectpagina, gelinkt in de publicatie.