Het Duitse AI-bedrijf Aleph Alpha heeft Kolibri gepresenteerd, een nieuw groot taalmodel (LLM) dat specifiek is ontwikkeld voor soevereine inzet binnen gereguleerde Europese domeinen. Het model is ontworpen om een balans te vinden tussen hoge prestaties en lage operationele kosten.
Met de introductie van Kolibri zet Aleph Alpha in op een model dat volledig in eigen beheer is ontwikkeld, van de architectuur en trainingsdata tot de infrastructuur. Volgens een technisch rapport op arxiv.org is het model gebouwd voor gespecialiseerde implementaties, waarbij de nadruk ligt op de Duitse taal en sectoren zoals de publieke administratie, de industrie en de lucht- en ruimtevaart.
Technische architectuur en training
Kolibri is ontwikkeld als een mixture-of-experts (MoE) transformer. In totaal beschikt het model over 78,1 miljard parameters, waarvan er per token 3,46 miljard actief zijn. Dit betekent dat het model slechts 4,4% van zijn totale parameters activeert tijdens het verwerken van informatie, wat bijdraagt aan de efficiëntie.
De training van het model omvatte een enorme dataset van 24 biljoen (T) tokens. Hierbij is specifiek aandacht besteed aan de Duitse taal, die meer dan 20% van de datamix in bytes uitmaakt. Om dit aandeel te realiseren, heeft Aleph Alpha meer dan 2 biljoen Duitse tokens verzameld via een eigen web-pipeline en synthetisch gegenereerd, zoals beschreven in de .
Na de initiële training onderging Kolibri een post-training fase. Deze bestond uit supervised fine-tuning op zorgvuldig geselecteerde Engelse en Duitse data, aangevuld met reinforcement learning op ruim 1,2 miljoen intern samengestelde taken. Deze taken richtten zich op diverse vaardigheden, waaronder:
- Redeneren en instructieopvolging;
- Het gebruik van externe tools;
- Programmeren (code);
- Informatie-extractie en retrieval.
Focus op soevereiniteit en regelgeving
Een centraal aspect van Kolibri is de focus op digitale soevereiniteit. Op de aleph-alpha.com benadrukt het bedrijf dat het model volledig in Duitsland is getraind. Door de volledige controle over de toeleveringsketen wil het bedrijf garanderen dat er geen sprake is van geïmporteerde vooroordelen (imported bias) en dat de intellectuele eigendom gewaarborgd blijft.
Bovendien is Kolibri ontworpen om te voldoen aan strikte Europese juridische kaders. Het model is afgestemd op de normen van de EU AI Act en bijbehorende gedragscodes, waardoor het geschikt is voor zeer gevoelige workloads binnen de publieke sector en industriële omgevingen.
Prestaties en toegankelijkheid
Aleph Alpha claimt dat Kolibri zich op de zogenaamde 'Pareto-frontier' bevindt, wat betekent dat het een optimale verhouding biedt tussen kwaliteit en de kosten van het draaien van het model. Volgens de presteert Kolibri vergelijkbaar met grotere modellen, maar genereert het meer tekstoutput per GPU. Dit resulteert in een lager energieverbruik en snellere, schaalbare implementaties.
Om de adoptie en transparantie te bevorderen, is Kolibri vrijgegeven als open weights onder de Apache 2.0-licentie. Hiermee kunnen ontwikkelaars en organisaties het model aanpassen en inzetten binnen hun eigen infrastructuur.
Het model is specifiek gepositioneerd voor missiekritieke omgevingen, zoals agentische workflows die complexe redeneringen in meerdere stappen vereisen of systemen die gebruikmaken van retrieval-augmented generation (RAG). In een recent bericht in de wordt bevestigd dat het model nu beschikbaar is voor gebruik in deze hoog-impact scenario's.