De vraag wat een tekst kwalitatief hoogstaand maakt, vormt een complex snijvlak tussen de literatuurwetenschap en de computationele linguïstiek. Recent onderzoek naar grote taalmodellen (LLM's) met redeneervermogen werpt een nieuw licht op hoe kunstmatige intelligentie literaire kwaliteit evalueert. Uit de resultaten blijkt dat AI-modellen een holistische benadering hanteren, waarbij artistieke intentie zwaarder weegt dan strikte grammaticale precisie.
De subjectiviteit van kwaliteit
Het definiëren van een 'goede' tekst is inherent problematisch vanwege de breedte van het begrip. Zo kan de term 'goed' in een Engelse context verwijzen naar diverse aspecten, variërend van moreel gedrag en vaardigheid tot de uiteindelijke kwaliteit of een succesvol resultaat, zoals beschreven door vocabineer.com. Voor AI-systemen is het een uitdaging om dergelijke subjectieve kwaliteiten om te zetten in objectieve, kwantificeerbare data.
Onderzoeker Birger Moëll richtte zich in zijn studie op de zogenaamde 'impliciete theorieën' van kwaliteit die in de redeneerprocessen van LLM's besloten liggen. Om dit te testen, werd een benchmark ontwikkeld met dertig verschillende teksten. Deze selectie varieerde van wereldberoemde canonieke literatuur tot anonieme bijdragen op internetfora, verdeeld over zes verschillende kwaliteitsniveaus. Volgens de publicatie op arxiv.org stelt dit onderzoek de AI in staat om patronen in kwaliteitsbeoordeling bloot te leggen.
Intentionaliteit boven correctheid
Bij het testen van het DeepSeek-model over vijf replicaties heen, behaalde de AI een gemiddelde nauwkeurigheid van 79,3% bij het classificeren van de kwaliteitsniveaus. De analyse van de redeneerpaden onthulde een consistent patroon: de AI hecht meer waarde aan de intentionaliteit van de auteur dan aan de loutere correctheid van de tekst. Factoren zoals een unieke stem, artistiek vakmanschap en inhoudelijke diepgang bleken doorslaggevender voor een hoge score dan het strikt volgen van taalregels.
Er is echter een belangrijke nuance. Uit experimenten met teksten die qua stijl overeenkwamen maar onherkenbaar waren, bleek dat bronherkenning de beoordeling kan beïnvloeden. Wanneer een model detecteert dat een fragment afkomstig is uit een beroemd canoniek werk, kan dit de score onterecht verhogen. Het blijft echter onduidelijk of dit komt door een 'halo-effect' van de auteur, of simpelweg omdat originele meesterwerken kwalitatief superieur zijn aan imitaties.
Gevoeligheid voor structurele degradatie
Om de theorie verder te toetsen, werden vijf canonieke prozafragmenten systematisch verslechterd via zes verschillende manipulaties. De onderzoekers wilden vaststellen welke aanpassing de grootste impact had op het oordeel van de AI. De geteste degradaties waren onder meer het vereenvoudigen van het vocabulaire, het afvlakken van het ritme, het verwijderen van beeldspraak, het genericeren van de stem en het vereenvoudigen van de structuur.
De resultaten lieten zien dat de AI het minst gevoelig was voor een eenvoudiger vocabulaire; dit leidde tot een minimaal kwaliteitsverlies van slechts 0,41 punten. De meest significante dalingen in score werden veroorzaakt door de vereenvoudiging van de structuur (2,78 punten) en het aanpassen van de stem (2,34 punten). Wanneer alle degradaties gelijktijdig werden toegepast, zakte de score met 5,64 punten, hoewel dit effect subadditief was.
Toekomstige implicaties voor schrijfsoftware
Een vergelijkende analyse met het Qwen QwQ-model bevestigde dat deze patronen breder voorkomen binnen geavanceerde LLM's. De data uit het onderzoek op suggereren dat AI-oordelen over schrijfkwaliteit in toenemende mate holistisch en auteurspecifiek worden.
Deze bevindingen hebben grote gevolgen voor de ontwikkeling van geautomatiseerde feedbacksystemen. Het suggereert dat toekomstige AI-tools voor schrijvers minder nadruk moeten leggen op het corrigeren van individuele woorden of spellingsfouten, en meer op het adviseren over de structurele opbouw en de ontwikkeling van een eigen literaire stem. Hiermee evolueert de rol van AI van een digitale spellchecker naar een instrument voor computationele esthetiek, waarbij de focus verschuift naar de artistieke impact van een tekst.