De precisie van kunstmatige intelligentie bij het manipuleren van vectorafbeeldingen blijkt aanzienlijk lager dan voorheen werd aangenomen. Uit recent onderzoek naar het bewerken van Scalable Vector Graphics (SVG) blijkt dat AI-modellen grote moeite hebben om specifieke wijzigingen aan te brengen zonder onbedoeld andere delen van de broncode te corrumperen. Dit probleem blijft vaak onopgemerkt wanneer resultaten enkel als rasterafbeelding worden beoordeeld, terwijl de onderliggende code in werkelijkheid beschadigd raakt.
Om dit fenomeen wetenschappelijk in kaart te brengen, hebben onderzoekers Yug Aditi Gupta en Prannay Hebbar een nieuwe evaluatiemethode ontwikkeld genaamd Vector-Bench. Volgens een arxiv.org bestaat deze benchmark uit 40 diverse taken waarbij beschadigde SVG-bestanden moeten worden hersteld op basis van menselijke instructies. Een cruciaal aspect van deze opzet is dat de instructies puur visueel zijn; er worden geen technische details zoals kleurcodes, coördinaten of specifieke element-id's verstrekt. Hierdoor worden modellen gedwongen om zelf de vertaalslag te maken van een visueel defect naar de juiste technische aanpassing in de code.
De complexiteit van deze taken is aanzienlijk. Gemiddeld moeten de modellen ongeveer vijf specifieke reparaties uitvoeren, terwijl ze tegelijkertijd ruim 60 objecten in de afbeelding volledig ongemoeid moeten laten. De beoordeling is strikt: een taak wordt pas als geslaagd beschouwd als de reparaties correct zijn uitgevoerd, het bestand technisch valide blijft en de rest van de code semantisch ongewijzigd is. Om de foutmarge te analyseren, introduceerden de onderzoekers de 'Unintended Change Rate' (UCR), een maatstaf die specifiek meet hoe vaak een model onbedoelde wijzigingen aanbrengt tijdens een correcte reparatie.
De resultaten van de tests zijn ontnieuwend. In totaal werden 34 verschillende model-endpoints onderzocht, variërend van open-weight modellen tot geavanceerde gesloten 'frontier' modellen. Uit de blijkt dat het best presterende model slechts een succespercentage van 15,0% behaalde wanneer alle strikte criteria werden toegepast. Hoewel de gemiddelde voortgang bij de reparaties zelf op 43,7% lag, illustreert dit het grote verschil tussen een visueel acceptabel resultaat en een technisch perfecte bewerking van de code.
Deze bevindingen onderstrepen dat generatieve AI nog ver verwijderd is van de chirurgische precisie van een menselijke programmeur bij het werken met gestructureerde vector-data. Terwijl commerciële tools zoals magnific.com zich richten op het opschalen en verfijnen van vectoren, laat dit academische onderzoek zien dat het gericht aanpassen van bestaande SVG-structuren een hardnekkige hindernis blijft.
Om de ontwikkeling van nauwkeurigere modellen te stimuleren, hebben de auteurs van het onderzoek alle gebruikte prompts, de gegenereerde outputs en de scorecode openbaar gemaakt. Via de kunnen andere ontwikkelaars toegang krijgen tot deze data om de precisie van AI bij het bewerken van vectorbestanden verder te verbeteren. De hoop is dat deze open data zal leiden tot modellen die niet alleen visueel overtuigende, maar ook technisch correcte wijzigingen kunnen doorvoeren in complexe grafische bestanden.