De effectiviteit van meertalige taalmodellen bij het overbrengen van informatie tussen verschillende talen wordt sterk beïnvloed door de manier waarop tekst wordt gerepresenteerd. Een recent onderzoek, ingediend voor de EMNLP 2026 conferentie, toont aan dat het gebruik van geromaniseerde tekst tijdens de pretraining leidt tot een superieure overdracht van kennis, zeker wanneer de betreffende talen uiteenlopende schriftsystemen hanteren.
Het kernprobleem bij huidige meertalige modellen is dat het mechanisme van een gedeelde subwoord-woordenschat vaak tekortschiet wanneer verwante talen verschillende schriften gebruiken. Dit belemmert de natuurlijke stroom van informatie tussen deze talen. Om een oplossing hiervoor te vinden, hebben Muge Zhang en collega's drie verschillende methoden voor inputrepresentatie systematisch met elkaar vergeleken. Volgens de publicatie op arxiv.org werden hierbij de oorspronkelijke orthografische tekst, het Internationaal Fonetisch Alfabet (IPA) en romanisering tegen elkaar afgewogen.
Voor dit onderzoek is gebruikgemaakt van een gecontroleerde setting met acht talen, verdeeld over vier typologisch samengestelde paren. Om te onderzoeken of de omvang van het model een rol speelt, voerden de onderzoekers tests uit op drie verschillende schalen: modellen met respectievelijk 467 miljoen, 709 miljoen en 1,03 miljard parameters. De resultaten laten zien dat pretraining met geromaniseerde gegevens de sterkste cross-linguale transfer oplevert voor diverse downstream-taken. Dit effect is zichtbaar bij zowel talen die reeds in de trainingsset zaten als bij talen die het model nog niet kende.
Een belangrijke bevinding is dat het voordeel van romanisering toeneemt naarmate het model groter wordt. Hoewel het gebruik van IPA in de meeste gevallen beter presteerde dan de oorspronkelijke tekst, bleven de resultaten achter bij de modellen die gebruikmaakten van romanisering. Zoals beschreven in het document , suggereert dit dat de keuze voor de tekstrepresentatie een doorslaggevende factor is voor de effectiviteit van meertalige AI.
Daarnaast waarschuwen de onderzoekers voor bepaalde valkuilen bij het finetunen van modellen. Het bleek namelijk contraproductief om een model dat op standaardtekst is getraind, achteraf met geromaniseerde data te finetunen. Voor talen die al in het basismodel aanwezig waren, leidde dit zelfs tot een verslechtering van de prestaties. Slechts bij talen waarvan het schrift volledig ontbrak in het basismodel, was er sprake van een marginale verbetering. De auteurs concluderen daarom dat romanisering een fundamentele ontwerpkeuze moet zijn tijdens de pretraining, in plaats van een correctie achteraf.
Dit onderzoek biedt nieuwe inzichten in de ontwikkeling van autoregressieve modellen die diverse schriften moeten overbruggen. De focus op de initiële trainingsfase benadrukt dat de presentatie van tekst bepalend is voor het uiteindelijke vermogen van een model om talen onderling te begrijpen. Voor meer context over de bredere impact van meertalige technologie kan men terecht bij gespecialiseerde bronnen zoals multilingual.com.
Het volledige wetenschappelijke werk, geschreven door Muge Zhang en vier co-auteurs, is in versie 3 op 8 september 2026 bijgewerkt op . Het artikel bevat uitgebreide analyses verspreid over negen pagina's, ondersteund door zes figuren en een gedetailleerde appendix.