Onderzoekers hebben een nieuwe techniek ontwikkeld genaamd LoID, waarmee informatie uit grote taalmodellen (LLM's) effectiever kan worden ingezet om voorspellende modellen te verbeteren wanneer er weinig trainingsdata beschikbaar is.
In gespecialiseerde sectoren zoals de geneeskunde en de financiële wereld is het verzamelen van grootschalige, gelabelde datasets vaak kostbaar of simpelweg onmogelijk. Dit zorgt ervoor dat modellen die op kleine datasets worden getraind, vaak moeite hebben om correct te generaliseren naar de bredere, echte populatie. Een nieuw onderzoek, gepubliceerd op het platform arxiv.org, stelt voor om de uitgebreide kennis die al in grote taalmodellen besloten ligt, op een nieuwe manier te onttrekken om dit probleem aan te pakken.
De beperking van generatieve teksten
Traditionele methoden om kennis uit taalmodellen te halen, vertrouwen vaak op het genereren van tekst of numerieke voorspellingen via zogenaamde 'prompting'. De auteurs van het onderzoek, waaronder Sara Rezaeimanesh en Mohammad M. Ghassemi, stellen echter dat deze generatieve aanpak niet optimaal is. In plaats daarvan introduceren zij LoID (Logit-Informed Distributions), een deterministische methode die direct kijkt naar de voorspellingen op token-niveau van het model.
In plaats van het model te vragen om een antwoord te formuleren, onderzoekt LoID het vertrouwen van het model in tegenstelde semantische richtingen, zoals een positieve versus een negatieve impact. Door zorgvuldig geconstrueerde zinnen te gebruiken en te meten hoe consistent het model een bepaalde richting verkiest over verschillende formuleringen heen, kan de sterkte en betrouwbaarheid van de overtuiging van het model over een specifieke eigenschap worden vastgesteld.
Prestaties en vergelijkingen
De effectiviteit van LoID is getest op tien echte tabulaire datasets onder synthetische 'out-of-distribution' (OOD) scenario's. In deze situaties vertegenwoordigt de trainingsdata slechts een subset van de totale populatie, wat normaal gesproken leidt tot een aanzienlijke prestatiekloof.
Volgens de publicatie op levert LoID de volgende resultaten op:
* Prestatiewinst: De methode slaagt erin om tot 59% van de prestatiekloof te dichten ten opzichte van een 'oracle'-model (een model dat getraind is op de volledige dataset).
* Superieur aan alternatieven: LoID presteerde op 8 van de 10 datasets beter dan andere methoden, waaronder AutoElicit (dat priors genereert via tekstaanvullingen) en LLMProcesses (dat gebruikmaakt van in-context learning voor numerieke voorspellingen).
* Efficiëntie: De methode biedt een reproduceerbaar en computationeel efficiënt mechanisme om LLM-kennis te integreren in Bayesiaanse inferentie.
Context van taal en communicatie
De techniek van LoID bouwt voort op het fundamentele begrip van hoe taalmodellen informatie verwerken. Taal wordt in de linguïstiek gedefinieerd als een communicatiesysteem van geluiden, woorden en grammatica dat mensen gebruiken om ideeën en gevoelens te delen, zoals beschreven op myenglishpages.com. Waar menselijke taal creatief en symbolisch is, probeert LoID de onderliggende statistische patronen van deze symbolische kennis in AI-modellen te kwantificeren.
Terwijl taalmodellen vaak worden gezien als tools voor tekstgeneratie, bewijst dit onderzoek dat hun werkelijke waarde voor wetenschappelijke generalisatie mogelijk ligt in de 'logits' — de ruwe waarschijnlijkheidsscores die het model intern toekent voordat er een definitief woord wordt gekozen.
Toegang en implementatie
Hoewel de technische details van de implementatie uitgebreid zijn beschreven in de wetenschappelijke paper, wijzen externe bronnen zoals thoughtco.com op het belang van correcte toegang tot digitale content en ondersteuning bij technische implementaties. De volledige details van de LoID-methode en de gebruikte datasets zijn beschikbaar in de meest recente versie (v3) van het artikel op , die op 22 augustus 2026 is herzien.