Generatieve AI-modellen die getraind worden op data van eerdere modellen verliezen na verloop van tijd cruciale kennis, waarbij vooral zeldzame informatie als eerste verdwijnt. Een nieuw onderzoek koppelt dit fenomeen aan een theorie uit de culturele evolutie, waarbij wordt gesteld dat blind kopiëren zonder eigen leerproces onvermijdelijk leidt tot kwaliteitsverlies.
Het fenomeen waarbij AI-modellen degenereren wanneer ze worden blootgesteld aan hun eigen synthetische output, staat bekend als 'model collapse'. Volgens een recent wetenschappelijk artikel van Nam H. Le, gepubliceerd op arxiv.org, kan dit proces worden begrepen via de zogenaamde 'paradox van Rogers'. Deze theorie stelt dat een populatie die volledig vertrouwt op het kopiëren van informatie, uiteindelijk niet beter af is dan een populatie die nooit heeft gekopieerd. De reden hiervoor is dat kopieën verouderen en hun waarde verliezen, tenzij er individuen zijn die onafhankelijk van die kopieën nieuwe kennis vergaren.
De dynamiek van kennisverlies
In de praktijk betekent dit dat generatieve modellen over verschillende generaties heen kennis verliezen. Volgens de analyse van Le verdwijnt zeldzame kennis als eerste. De huidige oplossingen om dit tegen te gaan, zoals het toevoegen van verse menselijke data of het gebruik van curatoren, brengen informatie van buiten de 'loop' naar binnen. Echter, veel theorieën over modelcollapse beschouwen deze aanvoer van verse data als een constante factor, terwijl Le betoogt dat juist deze aanvoer het kernprobleem is.
Dit proces van degradatie is niet nieuw. Eerder onderzoek gepubliceerd in nature.com toonde aan dat het onbezonken gebruik van door AI gegenereerde content in trainingssets leidt tot onomkeerbare defecten. Hierbij verdwijnen de 'staarten' van de oorspronkelijke datadistributie, wat betekent dat minder voorkomende maar correcte informatie wordt weggefilterd.
'Confidently wrong' en de rol van fluency
Een ander aspect van dit probleem is het onderscheid tussen taalbeheersing en feitelijke juistheid. In een publicatie via een arxiv.org wordt gesproken over 'knowledge collapse'. Dit is een proces in drie fasen waarbij de feitelijke accuratesse van een model verslechtert, terwijl de oppervlakkige vloeiendheid (fluency) van de tekst behouden blijft. Het resultaat zijn outputs die zeer overtuigend klinken, maar feitelijk onjuist zijn, wat grote risico's met zich meebrengt in domeinen waar precisie essentieel is.
De impact van een veranderende wereld
Het onderzoek van Nam H. Le gaat verder door te kijken naar scenario's waarin de wereld zelf verandert. Een AI-lijn die enkel haar eigen verleden kopieert, heeft steeds meer nieuwe data nodig om bij te blijven naarmate de wereld sneller verandert. Modellen die elke generatie opnieuw starten vanaf vaste, vooraf getrainde gewichten, zijn hiertegen beter beschermd, omdat die gewichten fungeren als kennis die niet wordt gekopieerd.
Bovendien waarschuwt de auteur voor een gevaarlijke feedbackloop: wanneer mensen die trainingsdata schrijven zelf AI gaan raadplegen in plaats van zelf feiten te onderzoeken, wordt de aanvoer van nieuwe data 'endogeen'. Op dat punt is het model slechts zo betrouwbaar als de inspanning die mensen leveren om zelf zaken uit te zoeken.
De rol van filters en kritisch leren
Niet alle methoden om data te filteren zijn effectief. Volgens de analyse op arxivsignals.io werken filters die enkel selecteren op 'plausibele' tekst conformistisch en versnellen zij juist de collapse. Alleen controles die nieuwe informatie toevoegen of kritisch leren stimuleren, kunnen de paradox van Rogers doorbreken. Gebruikers die controleren wat hen wordt verteld en het proces van herleren starten wanneer de AI een fout maakt, zijn essentieel om de kwaliteit van de kennisstroom te waarborgen.