Onderzoekers hebben ontdekt dat het gebruik van bekende schriften, en niet de taalkundige verwantschap, de belangrijkste factor is bij het ontsluiten van onbekende talen in meertalige AI-modellen.
In een recent wetenschappelijk onderzoek is aangetoond dat kunstmatige intelligentie (AI) talen die het model nog nooit eerder heeft gezien, gemakkelijker kan integreren in een gedeelde betekenisruimte wanneer deze zijn geschreven in een bekend schrift. Dit inzicht biedt een potentieel nieuw pad voor het ontsluiten van honderden talen die wel beschikt zijn over geschreven teksten, maar waarvoor nauwelijks vertalingen beschikbaar zijn om traditionele modellen op te trainen.
De rol van visuele herkenning
Het onderzoek, dat op 4 november 2026 werd gepubliceerd via arxiv.org, richtte zich op de vraag hoe modellen leren wanneer er geen directe vertalingen beschikbaar zijn. Tot nu toe was onduidelijk of een model in dat geval steunt op een taalkundig verwante taal of op de visuele gelijkenis van de gebruikte letters. Omdat verwante talen vaak ook hetzelfde schrift gebruiken, waren deze twee factoren tot nu toe moeilijk te scheiden.
Om dit te testen gebruikten de auteurs Yuliang Liu, Xinyu Wang en Xiang Bai een specifiek model genaamd GlyphMind. Dit is een zogenaamde 'tokenizer-free vision transformer'. In plaats van tekst te verwerken als abstracte tokens, leest dit systeem tekst als pixels. Volgens de is GlyphMind vooraf getraind om vertalingen over 27 verschillende schrifttypes heen uit te lijnen.
Experimenten met Lao en Santali
De onderzoekers testten het model met de taal Lao, een taal en een schrift dat het model tijdens de training nooit had gezien. Wanneer het model werd aangepast op onvertaalde Lao-teksten, slaagde het er zeven keer vaker in om Engelse vertalingen terug te vinden dan een sterk simpel basismodel.
De cruciale ontdekking deed zich voor toen de onderzoekers de variabelen veranderden:
1. Schrift versus Verwantschap: Wanneer de taal Lao werd herschreven in een onbekend schrift, kon het model de taal niet langer integreren. Dit gebeurde ondanks het feit dat Thai, een nauwe taalkundige verwant van Lao, wel in de trainingset zat.
2. Kruisbestuiving via schriften: Bij de taal Santali, waarvoor geen trainingsdata beschikbaar waren, gebeurde het omgekeerde. Wanneer Santali werd geschreven in het Devanagari-schrift — een schrift dat het model kende van het Hindi — kon de taal worden opgenomen in de betekenisruimte. Zodra Santali echter in zijn eigen oorspronkelijke schrift werd geschreven, faalde het model.
Implicaties voor meertalige AI
Deze resultaten suggereren dat de visuele representatie van taal een toegangspoort vormt voor AI. Het begrip van een taal wordt in deze context niet primair gedreven door de grammatica of de wortels van de taal, maar door de herkenbaarheid van de tekens. In de context van taalgebruik betekent 'familiar' in dit verband dat iets gemakkelijk te herkennen is omdat het eerder is gezien of gehoord, zoals beschreven in de cambridge.org.
De conclusie van de onderzoekers is dat transliteratie — het omzetten van een onbekend schrift naar een bekend schrift — een effectieve methode kan zijn om meertalige modellen toegankelijk te maken voor talen waarvoor geen uitgebreide vertaaldatasets bestaan. Door talen te presenteren in een schrift dat het model al beheerst, kan de AI de betekenis van een onbekende taal koppelen aan bestaande kennis.
Het volledige onderzoek is terug te vinden onder de referentie en biedt nieuwe inzichten in de computationele taalkunde en de manier waarop vision-transformers tekstuele informatie verwerken.