Onderzoekers hebben een nieuwe tokenizer ontwikkeld, genaamd Havon, die tekst in meer dan 200 talen efficiënter kan verwerken dan de huidige systemen van GPT-4o. De innovatie zorgt voor een aanzienlijke vermindering van het aantal tokens, wat kan leiden tot lagere kosten en snellere responstijden voor AI-modellen.
In een recent wetenschappelijk artikel, gepubliceerd op 9 november 2026 via arxiv.org, presenteren Johin Johny en zijn collega's een nieuwe methode voor teksttokenisatie. Tokenisatie is het proces waarbij grote taalmodellen tekst opsplitsen in kleinere eenheden, genaamd tokens, en daar een numerieke waarde aan toekennen, zoals ook gedemonstreerd wordt in educatieve tools van KU Leuven.
Problematiek bij niet-Westerse talen
De noodzaak voor een nieuwe tokenizer komt voort uit de inefficiëntie van huidige systemen bij talen die niet op het Latijnse alfabet zijn gebaseerd. Volgens de auteurs van het onderzoek vereisen talen uit India op de tokenizer van GPT-4o tussen de 1,6 en 14 keer zoveel tokens als het Engels voor exact dezelfde inhoud. Deze ongelijkheid zorgt ervoor dat het gebruik van AI in deze talen duurder is en trager verloopt, omdat modellen per token worden afgerekend en verwerkt.
De evolutie van Havon: van v3 naar v5
De onderzoekers hebben verschillende versies van hun tokenizer ontwikkeld om de compressie te optimaliseren:
- Havon v3: Deze byte-level BPE-tokenizer is getraind op menselijke teksten in ongeveer 200 talen. In tests met de FLORES-200 dataset bleek v3 efficiënter dan de
o200k_basevan GPT-4o voor alle 25 onderzochte Indiase talen, met een mediaan van 0,74 van het tokenaantal van GPT-4o. Echter, voor het Engels gebruikte v3 juist 7% meer tokens. - Havon v4: Deze versie introduceert een tweede trainingsfase genaamd 'SuperBPE' voor multi-word tokenisatie. Bij een vocabulaire-omvang die gelijk is aan die van GPT-4o (200.019 tokens), verbruikt v4 6,1% minder tokens voor het Engels. Bij een grotere omvang van 524.288 tokens is de tokenizer efficiënter voor 203 van de 204 geteste talen. De grootste winst wordt behaald bij het Engels, Hindi en de Romaanse talen.
- Havon v5: In deze laatste iteratie is de Python-code vervangen door permissief gelicentieerde code in 15 verschillende talen. Hoewel de prestaties op programmeercode iets variëren (1,03 tot 1,22 keer het aantal tokens van GPT-4o), blijven de sterke resultaten voor het Engels en de Indiase talen behouden.
Impact en beperkingen
De resultaten van het onderzoek naar Havon zijn puur gebaseerd op compressiecijfers. De auteurs merken in hun publicatie op op dat zij nog geen evaluatie hebben uitgevoerd van een daadwerkelijk taalmodel dat getraind is met de v4- of v5-tokenizer.
Terwijl de meeste talen profiteren van de nieuwe methode, zijn er uitzonderingen. Scripts zonder spaties, zoals het Tibetaans, Khmer en Burmese, laten weinig verbetering zien en verliezen zelfs sommige subword-merges.
Context van AI-ontwikkelingen in 2026
Deze technologische vooruitgang vindt plaats in een jaar waarin de interactie tussen AI en data strikter wordt gereguleerd. Zo meldt someflex.be dat grote spelers zoals OpenAI, Google, Anthropic en Microsoft eind oktober 2026 een nieuwe standaard in robots.txt hebben aangekondigd. Hiermee kunnen websitebeheerders expliciet aangeven dat hun content niet gebruikt mag worden voor AI-training, wat de beschikbaarheid van trainingsdata voor toekomstige tokenizers zoals Havon zou kunnen beïnvloeden.
Tegelijkertijd blijft de adoptie van AI-tools in het onderwijs groeien, ondanks kritiek op de kwaliteit. Zo beschrijft een studie op arxiv.org dat studenten in de software engineering bijna universeel LLM's gebruiken voor tekstintensieve taken, hoewel zij de gegenereerde output vaak nog als inferieur aan hun eigen werk beschouwen.