Een nieuw onderzoek naar het consumentengedrag van AI-agenten laat zien dat deze systemen minder beïnvloed worden door de positie van een product in een zoeklijst dan menselijke consumenten. Hoewel de hoogste posities nog steeds een voordeel bieden, negeren AI-modellen vaker de resultaten in het midden van een pagina.
De traditionele waarde van zoekrangschikkingen is gebaseerd op de beperkte aandacht van mensen, die sequentieel door resultaten scrollen en vaker de bovenste opties bekijken en kopen. Met de opkomst van AI-agenten die volledige resultatenpagina's in één keer kunnen verwerken, is het echter onduidelijk gebleven of dit voordeel van een hoge ranking blijft bestaan. In een studie gepubliceerd via arxiv.org is dit onderzocht door AI-agenten te vergelijken met menselijke velddata.
Uitgebreider zoekgedrag
Het onderzoek, uitgevoerd door Davood Wadi en Yu Ma, analyseerde in totaal 7.000 sessies met vijf verschillende grote taalmodellen (LLM's). Hierbij werd gevarieerd in de hoeveelheid 'redeneerinspanning' (reasoning effort) die de modellen mochten inzetten. Een opvallende conclusie is dat AI-agenten aanzienlijk uitgebreider zoeken dan menselijke consumenten. In een specifieke testopstelling, waarbij de volgorde van honderd hoteladvertenties werd gerandomiseerd over 5.000 sessies, bleek dat AI-agenten dieper in de lijstten duiken dan mensen dat doen, aldus informatie uit de .
Het 'lost-in-the-middle' fenomeen
Hoewel AI-agenten minder gevoelig zijn voor de positie van een item dan mensen, is er sprake van een specifiek patroon dat afwijkt van menselijk gedrag. Waar mensen simpelweg minder vaak naar de onderkant van een lijst kijken, vertonen AI-agenten een patroon dat consistent is met het zogenaamde 'lost-in-the-middle' effect. Dit houdt in dat vermeldingen in het midden van een resultatenpagina de laagste kans hebben om door de AI te worden geïnspecteerd.
Volgens de samenvatting op repec.org is de positie-bias bij AI-agenten wel aanwezig, maar minder sterk en niet-monotoon. Dit betekent dat de kans op inspectie niet simpelweg afneemt naarmate men lager in de lijst komt, maar juist een dip vertoont in het midden.
Invloed van redeneerinspanning
De onderzoekers stelden vast dat de invloed van de positie op de uiteindelijke keuze vooral geconcentreerd is bij een lage redeneerinspanning. Wanneer de AI-agent echter meer tijd of rekenkracht krijgt om na te denken, vermindert de 'straf' voor items die in het midden van de lijst staan. Dit geldt voor elk LLM dat oorspronkelijk het 'lost-in-the-middle' effect vertoonde.
Opvallend is dat de heterogeniteit in hoe positie-effecten de uiteindelijke keuze beïnvloeden, niet direct gekoppeld kan worden aan de specifieke aanbieder van het model of de algemene capaciteiten van het model. Desondanks kwamen alle geteste modellen uiteindelijk uit op dezelfde, meest optimale ('undominated') vermelding.
Conclusie voor e-commerce
De resultaten suggereren een verschuiving in wat belangrijk is voor online zichtbaarheid wanneer zoekopdrachten worden gedelegeerd aan AI. In plaats van de exacte plaatsing in een lijst, lijken de daadwerkelijk getoonde kenmerken en attributen van een product zwaarder te wegen. De mate waarin een product wordt blootgesteld aan positie-bias hangt volgens de auteurs van het onderzoek op grotendeels af van de configuratie van de AI-agent.