De manier waarop moderne taalmodellen zinnen construeren, wordt niet bepaald door hun technische ontwerp, maar door de hoeveelheid en aard van de data waarop ze getraind zijn. Een recente studie naar decoder-only modellen onthult dat dit leidt tot een sterke voorkeur voor specifieke woordvolgordes, wat op termijn de natuurlijke variatie in menselijke talen zou kunnen ondermijnen.
Onderzoekers Varvara Arzt, Allan Hanbury en Terra Blevins hebben een uitgebreide analyse uitgevoerd naar de structurele voorkeuren van deze modellen. In hun publicatie van 15 augustus 2026, beschikbaar via arxiv.org, vergeleken zij de resultaten van 192 kunstmatige talen met een diverse groep natuurlijke talen. Hieruit kwam naar voren dat de modellen zeer verschillend reageren afhankelijk van de gebruikte dataset.
Kunstmatige versus natuurlijke structuren
Bij het testen met kunstmatige talen vertoonden de modellen een duidelijke neiging naar zogenaamde 'left-branching' structuren. In deze context verwijst de term 'left' naar de positionering van elementen aan de linkerzijde van een set, zoals uiteengezet in de definities van dictionary.com. De auteurs merken op dat deze specifieke voorkeur niet overeenkomt met menselijke patronen bij het aanleren van taal, noch met universele linguïstische trends.
Het beeld verandert echter wanneer men kijkt naar natuurlijke talen. Bij kleinere, monolinguale modellen was aanvankelijk geen specifieke bias voor een bepaalde basisvolgorde waarneembaar. Echter, naarmate de hoeveelheid trainingsdata groeide, ontstond er een dominante voorkeur voor talen met een 'right-branching' subject-verb-object (SVO) volgorde. Volgens de bevindingen in het rapport op is dit effect ook duidelijk zichtbaar in meertalige modellen.
De impact van databeschikbaarheid
Een opvallend resultaat is dat talen met een subject-object-verb (SOV) volgorde minder goed presteren in deze modellen. Dit is paradoxaal, aangezien SOV wereldwijd de meest voorkomende woordvolgorde is. De onderzoekers concluderen dat de voorkeur voor SVO-structuren niet voortkomt uit de intrinsieke eigenschappen van de taal zelf, maar direct correleert met de kwaliteit en kwantiteit van de beschikbare digitale bronnen.
Omdat de talen met de rijkste digitale archieven overwegend SVO-talen zijn, nemen de modellen deze patronen over. Hiermee wordt aangetoond dat de geobserveerde biases datagedreven zijn en niet vastliggen in de architectuur van de Transformer. De positionering van elementen, waarbij men kijkt naar wat zich links bevindt volgens , wordt dus gestuurd door statistische dominantie in de trainingsset.
Risico voor wereldwijde taalvariatie
De conclusies van de studie werpen een kritisch licht op de massale implementatie van Large Language Models (LLM's). De onderzoekers waarschuwen dat de sterke neiging naar SVO-structuren kan leiden tot een afname van de linguïstische diversiteit. Dit vormt een specifiek risico voor talen die in de praktijk flexibel omgaan met woordvolgordes of meerdere structuren productief gebruiken.
Het onderzoek, dat volgens de status op momenteel in revisie is, benadrukt dat de ongelijkheid in digitale databeschikbaarheid tussen verschillende wereldtalen een directe invloed heeft op de structurele output van kunstmatige intelligentie. Hierdoor dreigen minder gedocumenteerde talen hun unieke syntactische kenmerken te verliezen in de interactie met AI.