Onderzoekers hebben een opvallende tegenstelling vastgesteld in de capaciteiten van grote taalmodellen (LLM's). Terwijl deze systemen in staat zijn om teksten te produceren die bij lezers sterke gevoelens van sociale vergelijking oproepen, blijken ze er niet in te slagen om dergelijke signalen in bestaande teksten te identificeren.
Deze bevindingen komen uit een studie die is geaccepteerd voor de Conference on Empirical Methods in Natural Language Processing (EMNLP 2026). De kern van het onderzoek draait om sociale vergelijking, een psychologisch proces waarbij mensen hun eigen positie afzetten tegen die van anderen. Dit kan resulteren in een gevoel van superioriteit bij neerwaartse vergelijking of een gevoel van minderwaardigheid bij opwaartse vergelijking. Volgens een publicatie op arxiv.org gaat het hier om een relationeel signaal met een sociale betekenis dat verder gaat dan eenvoudige sentimentanalyse.
Om dit fenomeen te kunnen meten, hebben onderzoekers Hua Zhao, Jiapei Gu en Michelle Mingyue Gu een nieuwe benchmark ontwikkeld: de Xiaohongshu Social Comparison Reader Elicitation (XHS-SCoRE). Deze tool is specifiek ontworpen voor content van het platform Xiaohongshu, ook wel bekend als RedNote. Met XHS-SCoRE wordt geanalyseerd of berichten vanuit het perspectief van de lezer een neutrale, opwaartse of neerwaartse sociale vergelijking teweegbrengen. In de wordt toegelicht dat dit instrument dient als een diagnostisch kader om te begrijpen waarom bepaalde sociaal relevante signalen voor AI-systemen onzichtbaar blijven.
De studie legt een zogenaamde "generation-detection mismatch" bloot. De resultaten tonen aan dat LLM's zeer vaardig zijn in het imiteren van de schrijfstijl van Xiaohongshu en daarbij berichten kunnen creëren die de statusperceptie van de lezer beïnvloeden. Echter, zodra dezelfde modellen worden gebruikt als classificeerders om deze signalen te herkennen, presteren ze slecht. De prompt-gebaseerde classificatie blijkt fragiel; modellen hebben de neiging om de psychologische triggers te neutraliseren of vertonen een specifieke afwijking in hun oordeel.
Om te begrijpen waarom dit gebeurt, is het essentieel om te kijken naar de aard van deze technologie. hbs.edu zijn in essentie systemen die patronen in enorme hoeveelheden data herkennen om tekst te voorspellen. Hoewel ze patronen in schrijfstijlen perfect kunnen kopiëren, blijkt het herkennen van complexe sociale hiërarchieën en relationele dynamieken een veel grotere uitdaging.
Deze ontdekking heeft belangrijke implicaties voor de AI-veiligheid. Het betekent dat een AI-systeem content kan genereren die een aanzienlijke psychologische impact heeft op een mens, zonder dat het systeem zelf in staat is om die impact te labelen of te begrijpen. De triggers zijn in feite "computationeel onzichtbaar" voor de maker. Volgens de auteurs van de helpt de XHS-SCoRE benchmark om te onderzoeken waarom deze inferentie bij AI-modellen tekortschiet.
In bredere zin illustreert dit dat het vermogen om menselijke taal te simuleren niet gelijkstaat aan het begrijpen van de psychologische effecten die die taal teweegbrengt. Terwijl steeds geavanceerder worden in hun output, blijft de analytische detectie van subtiele sociale signalen een kritiek zwak punt.