Een nieuw onderzoek wijst uit dat het herhaaldelijk bevragen van een enkel taalmodel met willekeurige instellingen geen structurele informatie geeft over wat het model werkelijk niet weet. Alleen een divers ensemble van verschillende modellen kan patronen van onzekerheid blootleggen.
In de wereld van grote taalmodellen (LLM's) wordt vaak gebruikgemaakt van 'stochastische sampling'. Dit is een proces waarbij randomness wordt geïntroduceerd, waardoor een model bij dezelfde vraag telkens een ander antwoord kan geven. Volgens een definitie van mathwords.com beschrijft stochastiek systemen waarbij toekomstige toestanden niet volledig bepaald zijn, maar waarschijnlijkheidsverdelingen volgen. In de praktijk gebruiken ontwikkelaars dit om de creativiteit van een model te sturen of om via 'self-consistency' (meerderheidsstemming) de betrouwbaarheid van een antwoord te schatten.
De kloof tussen variatie en diversiteit
Een recent wetenschappelijk artikel van onderzoeker Izhar Ali, getiteld "Stochastic Sampling is Epistemically Shallow", stelt echter dat deze variatie oppervlakkig is. Het onderzoek, dat is ingediend bij arxiv.org, onderzoekt of de verschillen in antwoorden bij herhaalde runs onthullen welke concepten een model structureel niet beheerst.
Ali vergeleek twee verschillende scenario's om te bepalen waar onzekerheid vandaan komt:
1. Eén enkel model dat 100 keer werd uitgevoerd met een temperatuurinstelling van $\tau=1$ (hoge variatie).
2. Een ensemble van 24 verschillende taalmodellen die elk één keer werden uitgevoerd met $\tau=0$ (deterministisch).
Het doel was om te zien of er sprake was van 'cross-question structure'. Dit houdt in dat gerelateerde vragen samen 'omklappen' van correct naar incorrect, wat zou wijzen op een fundamenteel gebrek aan kennis over een specifiek onderwerp.
Resultaten van de Marchenko-Pastur test
Om het onderscheid tussen echte signalen en willekeurige ruis te maken, maakte de onderzoeker gebruik van een Marchenko-Pastur random-matrix test. De resultaten waren consistent over vijf verschillende modelfamilies en drie bekende benchmarks: MMLU, HellaSwag en GSM8K.
Volgens de publicatie op bleek dat bij een enkel model maximaal één dimensie boven de ruis uitkwam. Dit betekent dat de variatie die ontstaat door stochastische sampling weliswaar nuttig is voor het schatten van onzekerheid per individuele vraag, maar geen dieper inzicht geeft in de structurele onwetendheid van het model.
In contrast hiermee vertoonde het ensemble van 24 diverse modellen een veel sterker signaal. Hier stegen vier eigenwaarden boven de ruisgrens uit. De kans dat dit resultaat door puur toeval ontstond, werd via Monte Carlo-simulaties geschat op maximaal één op de 500 gevallen.
Conclusie voor AI-ontwikkeling
De bevindingen suggereren dat 'self-consistency' — het proces waarbij men het meest voorkomende antwoord kiest uit meerdere stochastische runs — weliswaar de nauwkeurigheid van een specifiek antwoord kan verbeteren, maar niet kan onthullen waarom een model een fout maakt.
De studie concludeert dat alleen een divers ensemble van modellen in staat is om bloot te leggen wat een model werkelijk niet weet. De variatie binnen één model is volgens de auteur "epistemisch ondiep", omdat het de fundamentele gaten in de kennis van het model niet systematisch in kaart brengt. Het artikel is inmiddels geaccepteerd voor presentatie op .