Kleine taalmodellen presteren op Indiase schriften veel slechter dan op Engels. En dat ligt niet aan het aantal parameters, maar aan de woordenschat van de tokeniser. Dat concludeert onderzoekster Anna Pramod in een studie die op 17 oktober 2026 verscheen op arxiv.org.
De sector beoordeelt de efficiëntie van kleine taalmodellen doorgaans met één enkel geheugencijfer. Maar die maatstaf is gebaseerd op het Engels, betoogt de studie, en laat zich niet zomaar vertalen naar andere talen.
🧠 Even simpel uitgelegd
Een taalmodel leest geen woorden, maar kleine tekstbrokjes die 'tokens' heten. De 'tokeniser' is de machine die tekst in die brokjes knipt. Kent de tokeniser een taal niet, dan knipt hij het woord in losse bytes: de allerkleinste bouwstenen van een computer. Eén woord wordt dan plotseling tientallen brokjes. Het model kan dus minder tekst 'onthouden' in zijn werkgeheugen (het contextvenster) — en begrijpt de taal bovendien slechter.
Eén Kannada-woord kost 22,60 tokens
De onderzoekster analyseerde 131.000 zinnen in elf verschillende Indiase schriften, met specifieke aandacht voor het model TinyLlama-1.1B. Het contrast bleek schril:
- Voor woorden in het Latijnse schrift gebruikt het model gemiddeld 1,34 subword-tokens.
- Voor woorden in het Kannada-schrift loopt dat op tot 22,60 tokens per woord.
Volgens de analyse is dat geen kwestie van inefficiëntie, maar van fundamentele afwezigheid van taalondersteuning. De woordenschat van het model bevat namelijk:
- 0% van de codepunten van het Odia-schrift;
- 1% van de codepunten van het Telugu-schrift;
- 2% van de codepunten van het Kannada-schrift.
Bij vijf van de elf onderzochte schriften bereikte de gemeten 'fertility' — de ratio van tokens per woord — het maximale plafond van de UTF-8 byte-fallback. Bij Odia was dat 99,6%, waarbij 93,6% van de gegenereerde tokens simpelweg ruwe bytes waren.
Fouten die onzichtbaar blijven
Het grootste probleem: de gebruikte SentencePiece byte-fallback meldt geen onbekende tokens (UNK-markers). De foutmarge blijft daardoor op papier onzichtbaar. TinyLlama rapporteert een UNK-percentage van 0,0% voor élk schrift — zelfs als de tekst in werkelijkheid als ruwe bytes wordt gelezen.
Dat heeft directe gevolgen voor de bruikbaarheid. Bij een contextvenster van 2048 tokens kan een Engelstalige gebruiker rekenen op 1.528 bruikbare woorden. Een gebruiker van het Kannada-schrift moet het doen met slechts 91 woorden.
Laag token-cijfer zegt niet alles
De studie trekt een parallel met andere modellen om te laten zien dat een laag token-per-woord-cijfer niet automatisch efficiëntie betekent. mBERT scoort het beste op Odia met 1,10 tokens per woord — maar alleen omdat het model 87,9% van de tekst negeert als onbekend (UNK).
MuRIL, een encoder met een specifieke Indiase woordenschat, presteert aanzienlijk beter. Het model heeft slechts een vijfde van de parameters van TinyLlama, maar leest elk schrift met een ratio van 1,23 tot 2,26 tokens per woord — zonder byte-fallback of UNK-markers.
Conclusie: de woordenschat is de bottleneck
De kern van het onderzoek: onder rekenbeperkingen is de beperkende factor voor meertalige AI niet het aantal parameters, maar de samenstelling van de woordenschat. Termen als "efficiency" worden in het algemeen gedefinieerd als maximaal resultaat met minimale middelen, zoals in het cambridge.org-woordenboek. Maar in de context van taalmodellen wordt die definitie misleidend zodra ze enkel op Engelse standaarden wordt toegepast.