Grote taalmodellen hebben een vervelende gewoonte: vraag je ze tien keer hetzelfde, dan krijg je grotendeels tien keer hetzelfde antwoord. Onderzoekers noemen dat 'mode collapse' — het model grijpt steeds terug naar een beperkt aantal bekende antwoordpatronen. Een nieuw trainingsraamwerk genaamd PRISM moet daar verandering in brengen.
Volgens een onderzoekspapier dat op 23 oktober 2026 verscheen via arxiv.org, zorgt mode collapse ervoor dat herhaald sampling leidt tot semantische herhaling in plaats van nieuwe ontdekkingen. Het model mist daardoor zeldzame, maar potentieel sterkere oplossingen. Dat bemoeilijkt ook de leerprocessen en zelfevolutie van AI-systemen.
🧠 Even simpel uitgelegd
Stel je een student voor die voor elke vraag altijd hetzelfde standaardantwoord opschrijft, omdat hij weet dat dat 'meestal goed' is. Slimme, originele oplossingen komen er nooit uit. PRISM is als een leraar die de student tijdens het leren — niet pas tijdens het examen — leert meerdere goede antwoorden te bedenken. Zo blijft het model flexibel in plaats van vast te komen zitten in één gewoonte.
Diversiteit tijdens de training, niet pas bij de output
De meeste bestaande oplossingen grijpen pas in tijdens de inferentiefase: het moment waarop het model een antwoord genereert. De makers van PRISM kiezen een andere route. Zij bakken diversiteit in als fundamentele capaciteit van het model, al tijdens de training.
Het raamwerk rust op twee pijlers:
- Submodular curation: elke prompt wordt gekoppeld aan een set van diverse, maar correcte oplossingen van meerdere 'teachers'.
- Stochastic embedding modulation: perturbaties van speciale tokens dienen als impliciete signalen die het model sturen naar verschillende outputs.
Een theoretische analyse in de publicatie toont aan dat dit mechanisme stabiel is.
Beste kwaliteit én sterke diversiteit
De effectiviteit van PRISM is getest op benchmarks als BookMIA en WritingPrompts. De resultaten: het raamwerk behaalde de beste generatiekwaliteit in alle geteste model-benchmarkinstellingen, terwijl het tegelijkertijd een zeer sterke semantische diversiteit behield over twee families van open-weight modellen.
Daarnaast verbeterde de sampling-efficiëntie op benchmarks voor code en wiskunde. Ook voor reinforcement learning (RL) is dat goed nieuws: PRISM ondersteunt diverse 'rollouts' en beperkt de diversiteitsinstorting die tijdens RL-training vaak optreedt.
Geen verwarring met statistieksoftware
De naam PRISM duikt ook elders op. Zo bestaat er statistische software van graphpad.com, waarvan versie 11.0.0 op 17 februari 2026 uitkwam. Die software richt zich op data-analyse, grafieken en statistiek — denk aan non-lineaire regressie en ANOVA — en staat los van dit AI-onderzoek.
PRISM markeert een verschuiving in hoe ontwikkelaars omgaan met de beperkingen van LLM's: diversiteit is geen instelling bij de output meer, maar een eigenschap die tijdens de training wordt ingebakken. De auteurs — Qixin Xu, Zihan Zhu, Xiaojiang Liu en Bohan Lyu — hopen daarmee de effectiviteit van toekomstige AI-systemen te verhogen. Grote spelers zoals openai.com spelen uiteraard een grote rol in het veld, maar dit onderzoek richt zich specifiek op de fundamentele problematiek rondom semantische repetitie.