Het nauwkeurig aanpassen van wetenschappelijke illustraties via programmeercode blijkt een complexe opgave voor huidige kunstmatige intelligentie. Hoewel veel moderne modellen in staat zijn om beelden te analyseren of eenvoudige grafische code te schrijven, vormt het wijzigen van bestaande figuren een grotere hindernis. Dit proces vereist namelijk dat een model de visuele structuur begrijpt, de juiste locatie van de wijziging identificeert en compileerbare code genereert, terwijl de rest van de figuur ongewijzigd blijft.
Om deze specifieke vaardigheden te kwantificeren, hebben Zongyun Zhang en een team van onderzoekers Edit2TikZ ontwikkeld. Zoals beschreven in de publicatie op arxiv.org, betreft dit een uitgebreide benchmark die zich richt op het bewerken van wetenschappelijke figuren met TikZ, een gespecialiseerd pakket voor grafische beelden.
De dataset achter Edit2TikZ bestaat uit 1.548 kwalitatief hoogwaardige samples, bestaande uit zowel synthetische bewerkingen als scenario's uit de praktijk. De benchmark ondersteunt zowel visuele als tekstuele verzoeken tot lokalisatie en bevat bewerkingen die uit meerdere stappen bestaan, elk voorzien van specifieke annotaties. Om de resultaten objectief te beoordelen, is een evaluatiekader opgezet dat toetst of de gevraagde aanpassingen zijn doorgevoerd zonder andere elementen van de illustratie te beschadigen.
In het onderzoek zijn 14 verschillende multimodale grote taalmodellen (MLLM's) onderworpen aan deze tests. De resultaten wijzen uit dat zelfs geavanceerde commerciële systemen onvoldoende betrouwbaar zijn voor deze taken. Deze propriëtaire modellen behaalden gemiddeld een compilatiesuccespercentage van slechts 75% en vertoonden beperkingen in het accuraat herstellen van figuren. Voor kleinere modellen, met minder dan 9 miljard parameters, lagen de prestaties nog lager; zij hadden aanzienlijk meer moeite met het volgen van instructies en het volledig genereren van de figuren.
Om de capaciteiten van deze compactere modellen te verhogen, introduceerden de onderzoekers een trainingsmethode genaamd 'reconstruction-then-editing curriculum learning', gebruikmakend van een gemengde dataset genaamd TikZEditMix. De impact hiervan was duidelijk zichtbaar bij het model Qwen3.5-4B. Volgens het steeg het succespercentage voor compilatie bij dit model van 45,35% naar 83,40% na de training. Daarnaast was er een gemiddelde stijging van 18,7 punten te zien over de diverse evaluatiemetrieken.
Deze focus op technische precisie via code staat in contrast met meer toegankelijke AI-toepassingen voor algemene beeldgeneratie. Een voorbeeld hiervan is de tattvammedia.com, een gratis instrument dat gebruikmaakt van het DALL·E-model van OpenAI om tekstuele prompts om te zetten in beelden. Hoewel dergelijke tools zeer effectief zijn voor contentcreatie en marketing, bieden ze niet de fijnmazige ontwerpcontrole of de code-gestuurde accuratesse die noodzakelijk is voor wetenschappelijke data-visualisaties.
Het project Edit2TikZ onderstreept hiermee het aanzienlijke verschil tussen creatieve beeldgeneratie en technisch correcte bewerkingen. Om verdere innovatie in dit domein te stimuleren, zullen de onderzoekers de volledige dataset en de bijbehorende code publiekelijk beschikbaar stellen. De resultaten van het onderzoek zijn terug te vinden via de .