Een recente wetenschappelijke publicatie zet de gangbare overtuiging over de training van kunstmatige intelligentie voor gestructureerde gegevens op zijn kop. Waar voorheen werd gedacht dat enorme hoeveelheden data essentieel waren voor brede inzetbaarheid, suggereren onderzoekers nu dat een model al zeer effectief kan zijn na training op slechts één enkele echte tabel.
Het onderzoek richt zich op tabulaire data, wat volgens het cambridge.org informatie betreft die is georganiseerd in rijen en kolommen. Binnen dit domein van deep learning is er een groeiende belangstelling voor 'in-context learning'. Bij deze techniek krijgt een model tijdens de gebruiksfase specifieke voorbeelden van invoer en uitvoer als context. Hierdoor kan het systeem voorspellingen doen voor nieuwe gegevens zonder dat de interne parameters van het model opnieuw moeten worden aangepast.
Verschuiving in academisch paradigma
In de academische wereld heerste tot voor kort de visie dat brede generalisatie van AI-modellen enkel mogelijk was via grootschalige pre-training. Zoals beschreven in een document op arxiv.org, ging men ervan uit dat hiervoor ofwel gigantische synthetische verzamelingen (zoals TabPFN priors) of zeer uitgebreide collecties van reële data (zoals TabDPT trainingsdatasets) vereist waren.
Een onderzoeksteam, bestaande uit onder meer Frank Hutter, Nour Shaheen en Junwei Ma, stelt deze aanname nu ter discussie. In hun studie, getiteld "Generalization Can Emerge in Tabular Foundation Models From a Single Table", tonen zij aan dat een relatief beperkte hoeveelheid data volstaat om generalisatie te bereiken. De auteurs van de studie op bewijzen dat eenvoudige, zelfgesuperviseerde pre-training op één enkele reële tabel verrassend sterke transferprestaties kan opleveren over diverse benchmarks.
Kwaliteit boven kwantiteit
De resultaten betekenen dat een model dat is getraind op één specifieke dataset, effectief kan functioneren in domeinen die fundamenteel verschillen van de oorspronkelijke trainingsdata. Om dit vast te stellen, hebben de onderzoekers systematisch pre-training en evaluaties uitgevoerd op een breed scala aan uiteenlopende datasets. Hierbij werd geanalyseerd welke elementen van de data het meest cruciaal zijn voor het ontwikkelen van een Tabular Foundation Model (TFM) dat over verschillende domeinen heen kan generaliseren.
Uit de analyse blijkt dat niet de totale hoeveelheid data, maar de aard van de training de doorslag geeft. De studie concludeert dat de kwaliteit en het aantal 'taken' die uit een dataset kunnen worden geconstrueerd, de belangrijkste factoren zijn voor de uiteindelijke prestaties in downstream-applicaties. Door deze inzichten te koppelen aan de huidige pre-trainingprocedures van TFMs, werpen de onderzoekers een nieuw licht op de ontwikkeling van AI voor gestructureerde data. De efficiëntie van het leerproces hangt volgens de auteurs van de publicatie op sterker af van de definitie van taken binnen de beschikbare data dan van het simpelweg toevoegen van meer datapunten.
Het onderzoek, dat op 12 november 2025 is ingediend, valt onder de categorieën Machine Learning en Artificiële Intelligentie.