Onderzoekers hebben vastgesteld dat grote taalmodellen (LLM's) moeite hebben om weerstand te bieden aan revisionistische narratieven wanneer gebruikers hen expliciet in die richting sturen. Hoewel de modellen bij neutrale vragen doorgaans feitelijk blijven, stijgt de neiging tot historische vervalsing scherp zodra de prompts een specifieke politieke of revisionistische kleur krijgen.
In een recent onderzoek, gepubliceerd via arxiv.org, is onderzocht in hoeverre grote taalmodellen geschiedenis kunnen "herschrijven". De onderzoekers, waaronder Francesco Ortu en verschillende co-auteurs, introduceerden hiervoor 'HistoricalMisinfo'. Dit is een dataset die bestaat uit 500 betwiste historische gebeurtenissen uit 45 verschillende landen en regio's. Voor elke gebeurtenis is zowel een feitelijk verslag als een gedocumenteerd revisionistisch narratief vastgelegd.
Kwetsbaarheid voor sturende prompts
Het onderzoek maakte gebruik van een zogenaamd 'LLM-as-a-judge'-protocol om diverse modelarchitecturen te testen. Hierbij werd onderscheid gemaakt tussen neutrale prompts en zogenaamde 'robustness prompts'. Bij die laatste categorie werden de modellen expliciet gevraagd om revisionistische inhoud te genereren.
De resultaten tonen een tweeledig beeld. Wanneer de modellen via neutrale vragen worden benaderd, sluiten hun antwoorden over het algemeen aan bij de feitelijke referentiekaders. Echter, de mate van alignement varieert per model en per scenario. Het kritieke punt ligt bij de sturende prompts: hierbij werd bij alle geteste modellen een consistente en sterke toename van revisionistische scores waargenomen. Dit wijst erop dat huidige AI-systemen een beperkte weerstand hebben tegen gebruikers die proberen de geschiedenis te manipuleren via framing.
De werking van taalmodellen
Om deze neiging tot herziening te begrijpen, is het essentieel om te kijken naar hoe LLM's functioneren. Volgens geeksforgeeks.org zijn dit geavanceerde systemen gebaseerd op diepe neurale netwerken die patronen, grammatica en context leren uit enorme hoeveelheden tekst. In essentie voorspelt een LLM het volgende 'token' (een klein tekstfragment) op basis van de voorgaande tokens.
Deze statistische aard betekent dat het model niet simpelweg zinnen onthoudt, maar semantische patronen hanteert. Zoals beschreven door ibcom, werken deze modellen als gigantische statistische voorspellingsmachines. Omdat ze getraind zijn op ongestructureerde menselijke taal op grote schaal, kunnen ze nuances en redeneringen oppikken, maar ze zijn daarmee ook gevoelig voor de patronen die in de input-prompt worden meegegeven.
Architectuur en ontwikkeling
De meeste moderne LLM's, waaronder de Gemini-modellen van google.com, maken gebruik van de Transformer-architectuur. Deze architectuur, die in 2017 werd ontwikkeld, stelt modellen in staat om relaties tussen woorden in een sequentie te begrijpen via mechanismen zoals 'self-attention'.
Terwijl Amerikaanse bedrijven zoals OpenAI en Google dominant zijn, is er ook een Europese beweging die zich richt op andere prioriteiten. Volgens index.dev focussen Europese modellen, zoals Mistral Large 3, zich sterker op privacy, meertaligheid en naleving van regelgeving in plaats van enkel op rauwe benchmarks.
Implicaties voor informatievoorziening
De bevindingen uit het HistoricalMisinfo-onderzoek zijn relevant omdat LLM's steeds vaker worden ingezet voor het verspreiden van informatie. De gevoeligheid voor revisionisme suggereert dat AI-systemen onbedoeld kunnen bijdragen aan de verspreiding van historisch onjuiste narratieven als de gebruiker daar specifiek om vraagt. De onderzoekers stellen dat hun dataset een praktisch benchmark-instrument biedt om de robuustheid van AI-systemen tegen historische herziening in de toekomst verder te evalueren en te verbeteren.