Een team van wetenschappers heeft Africa-Papers geïntroduceerd, een uitgebreide academische dataset die is ontworpen om de kloof in kennisrepresentatie binnen grote taalmodellen (LLM's) te dichten. De initiatiefnemers beogen hiermee de structurele ondervertegenwoordiging van Afrikaanse wetenschappelijke inzichten in AI-systemen tegen te gaan.
Volgens een publicatie op arxiv.org van 20 oktober 2026 vertonen huidige trainingsdatasets, waaronder The Pile, S2ORC en Dolma, een aanzienlijk tekort aan regionale informatie. Wetenschappelijke teksten uit Afrika over thema's als landbouw, geneeskunde, wetenschap en recht beslaan minder dan 0,5% van de wereldwijde tokens die worden gebruikt voor het trainen van deze modellen. Onderzoeker Mich-Seth Owusu stelt dat dit tekort leidt tot systematische fouten, vooral wanneer AI-modellen moeten redeneren over lokale agro-ecologieën, tropische epidemiologie, inheemse taalkundige structuren of regionale economische governance.
Samenstelling van de dataset
Om de intellectuele soevereiniteit van het continent te versterken en dit representatiedeficit op te lossen, is Africa-Papers ontwikkeld als de grootste gecureerde Pan-Afrikaanse academische dataset voor pre-training tot nu toe. De collectie omvat 844.807 volledige artikelen, wat resulteert in een totaal van 10,15 miljard tokens, verdeeld over 879 Parquet-bestanden.
De dataset is samengesteld uit vier primaire informatiebronnen:
- Peer-reviewed tijdschriften uit 31 Afrikaanse landen via de Directory of Open Access Journals (DOAJ).
- De landbouwkundige repository CGSpace van CGIAR.
- Preprints op het gebied van STEM en AI die door Afrikanen zijn geschreven of op het continent zijn gericht, afkomstig van arXiv.
- Open-access publicaties van internationale wetenschappers die verbonden zijn aan Afrikaanse instellingen, via OpenAlex.
Om de kwaliteit van de data te waarborgen, is er gekozen voor een layout-bewust Markdown-formaat. Hierdoor blijven wiskundige vergelijkingen, tabellen en sectiehiërarchieën intact. Daarnaast is de dataset voorzien van een gestandaardiseerde taxonomie die is opgedeeld in acht domeinen.
Context en toegankelijkheid
De dataset is openbaar gemaakt op de Hugging Face Hub onder de organisatie AfriSpeech. Hiermee willen de makers het proces van het trainen van fundamentele modellen en de evaluatie van domeinspecifieke kennis wereldwijd versnellen.
De noodzaak van een dergelijke dataset wordt onderstreept door de enorme diversiteit van het gebied. Zo wordt op continenten.com vermeld dat Afrika het snelst groeiende continent ter wereld is, met een bevolking van circa 1,55 miljard mensen volgens UN WPP 2024. De geografische variëteit is enorm en reikt van de regenwouden van Congo tot de Sahara-woestijn.
Deze complexiteit wordt verder benadrukt door de politieke en geografische structuur van het continent. Volgens ontheworldmap.com vormt Afrika een ingewikkeld netwerk van regio's, hoofdsteden en landsgrenzen. De wetenschappelijke output uit al deze diverse regio's is cruciaal om AI-modellen te ontwikkelen die accuraat kunnen functioneren binnen de specifieke Afrikaanse context.
Door de integratie van deze 10 miljard tokens hopen de onderzoekers dat toekomstige AI-systemen een realistischer en completer beeld krijgen van de maatschappelijke en wetenschappelijke realiteit op het Afrikaanse continent.