Een team van onderzoekers heeft FlowTranslator ontwikkeld, een nieuw raamwerk dat tekst binnen afbeeldingen kan vertalen zonder dat daarvoor uitgebreide trainingsdatasets met gepaarde beelden nodig zijn. De methode maakt gebruik van flow-gebaseerde bewerkingen om vertaalde tekst naadloos in de visuele context van een afbeelding te integreren.
Het vertalen van tekst die onderdeel is van een afbeelding, ook wel in-image machine translation (IIMT) genoemd, is een complexe taak. Het doel is niet alleen om de tekst te vertalen, maar om deze ook zo te vervangen dat de omringende visuele elementen behouden blijven. Volgens een recent onderzoek gepubliceerd op arxiv.org vereisen bestaande modellen voor deze taak vaak enorme hoeveelheden trainingsdata, bestaande uit paren van afbeeldingen vóór en na de vertaling.
Een nieuwe aanpak zonder training
De makers van FlowTranslator stellen dat de huidige vooruitgang in meertalige tekstgeneratie binnen text-to-image (T2I) modellen benut kan worden voor IIMT. In plaats van een model specifiek te trainen op vertaalparen, introduceert FlowTranslator een raamwerk dat volledig trainingsvrij werkt.
Het proces begint met het gebruik van een OCR-model (Optical Character Recognition) en een groot taalmodel (LLM). Deze tools worden ingezet om de oorspronkelijke tekst te herkennen en een vertaalprompt te genereren. Deze prompt wordt vervolgens geïnjecteerd in een diffusiemodel gebaseerd op T2I-technologie, zoals beschreven in de .
Technische optimalisaties
Om ervoor te zorgen dat de vertaalde tekst zowel accuraat als natuurlijk oogt, hebben de onderzoekers twee specifieke trajectcontroles geïmplementeerd:
- Region Coupling Release (RCR): Deze techniek zorgt ervoor dat de ruis in de doelbranche binnen het tekstgebied in een vroeg stadium van het traject gedeeltelijk wordt ontkoppeld.
- Coupling Expansion (CE): Deze controle versterkt de verschuiving van de bewerking halverwege het traject, wat bijdraagt aan een preciezere weergave van de nieuwe tekst.
Door deze methoden te combineren, kan het systeem tekst vervangen terwijl de visuele integriteit van de rest van de afbeelding gewaarborgd blijft.
Prestaties en resultaten
De effectiviteit van FlowTranslator is getest onder het EasyOCR read-back protocol. Hierbij behaalde het systeem gemiddelde scores van 20,6 voor PRIM BLEU en 57,2 voor COMET. Volgens de presteert FlowTranslator hiermee aanzienlijk beter dan UniTranslator, een krachtig alternatief dat wel op training is gebaseerd.
Ook op meer uitdagende, realistische foto's uit de ScenePair-dataset, waarbij vertalingen naar het Chinees werden uitgevoerd, toonde het model sterke resultaten. Het raamwerk bereikte een nauwkeurigheid van 40,1% bij exact-match toetsing. De onderzoekers merken op dat FlowTranslator hiermee bestaande bewerkingssystemen overtreft, aangezien sommige van die systemen zich enkel richten op de fase van tekstrendering en niet op het volledige IIMT-proces, zoals uiteengezet in de .
Conclusie van het onderzoek
De resultaten van dit project vestigen flow-gebaseerde bewerking als een robuuste, volledig trainingsvrije basis voor in-image machine translation. Door de synergie tussen OCR, LLM's en diffusiemodellen te optimaliseren, is het mogelijk om hoogwaardige vertalingen in afbeeldingen te realiseren zonder de noodzaak voor kostbare en tijdrovende trainingssets. Het onderzoek, ingediend op 3 november 2026 door onder meer Zhixian Li en diverse co-auteurs, markeert een verschuiving naar meer flexibele en efficiënte visuele vertaaltools.