Onderzoekers hebben Agaram 2.5B gelanceerd, een taalmodel dat specifiek is ontwikkeld voor de Tamil-taal. Het model is vanaf nul getraind en is in staat om te communiceren in het Tamil-schrift, geromaniseerd Tanglish en Engels, terwijl het daarnaast complexe functies zoals 'tool calling' ondersteunt.
In een recent gepubliceerd wetenschappelijk rapport op arxiv.org presenteren Ramchand Kumaresan, Madhusudhanan G en Kaushik Kezendirane hun nieuwste ontwikkeling: Agaram 2.5B. Het model is ontworpen als een 'playbook' voor het ontwikkelen van taalmodellen voor talen die in de huidige AI-wereld ondervertegenwoordigd zijn. Door het model volledig vanaf nul te trainen, in plaats van een bestaand model aan te passen, konden de ontwikkelaars specifieke optimalisaties doorvoeren voor de Tamil-taal.
Technische innovaties en training
Het fundament van Agaram 2.5B is een basismodel met 2,53 miljard parameters. Volgens de is dit model getraind op een dataset van 50 miljard tokens, waarvan 58 procent uit Tamil bestaat. Een cruciale verbetering ten opzichte van bestaande modellen is de nieuwe tokenizer. Waar een model zoals Qwen2.5 gemiddeld 9,44 tokens nodig heeft per Tamil-woord, heeft Agaram 2.5B slechts 1,55 tokens nodig. Deze efficiëntie zorgt voor een betere verwerking van de taal.
De ontwikkeling van dit model volgde op een eerdere versie, Agaram 1.5B. De lessen uit dat project hielpen bij het bepalen van de nieuwe basis, de tokenizer en de methode voor fine-tuning. Om de interactie met gebruikers te verbeteren, werd een publieke preview van vier dagen gelanceerd. De feedback uit deze periode leidde tot een herziene aanpak van de 'supervised fine-tuning' (SFT), die uiteindelijk werd uitgevoerd op 222.662 records.
Prestaties en vergelijkingen
De resultaten van Agaram 2.5B laten significante verbeteringen zien ten opzichte van andere modellen. In zes verschillende vertaalrichtingen scoorde het model hoger dan Sarvam-1. Specifiek op de FLORES-benchmark behaalde het een score van 56,9 voor vertalingen naar het Tamil en 55,4 voor vertalingen naar het Engels, aldus het .
Ook in vergelijking met grotere modellen presteert Agaram 2.5B sterk. Op de FLORES-benchmark scoorde het model hoger dan Google's Gemma 4 E4B-it, ondanks dat Agaram 2,53 miljard parameters heeft tegenover de 4,5 miljard effectieve parameters van het Google-model. Daarnaast werd Agaram 2.5B door een LLM-beoordelaar verkozen boven het preview-model op basis van 100 menselijke prompts, met een netto voorkeur van 30 punten.
Functionaliteit en open source
Een opvallend kenmerk van Agaram 2.5B is de capaciteit voor 'tool calling'. Tijdens de selectie van checkpoints bleek het model in staat om bij alle 25 geteste prompts de juiste tool te kiezen. In 16 van deze gevallen werden ook de argumenten exact correct ingevuld.
De ontwikkelaars hebben besloten om de base- en chat-weights, evenals de GGUF-bestanden, vrij te geven onder de Apache-2.0 licentie. Hiermee is het model toegankelijk voor andere ontwikkelaars en onderzoekers. In de wordt benadrukt dat het project dient als handleiding voor het bouwen van modellen voor talen die minder ondersteuning krijgen in de mainstream AI-industrie.
Ondanks de successen erkennen de auteurs dat er nog uitdagingen zijn. Het verbeteren van feitelijke kennis en het betrouwbaar weigeren van schadelijke verzoeken blijven openstaande problemen die in toekomstig werk zullen worden aangepakt.