Moderne systemen voor 'dense retrieval' hebben moeite met het correct interpreteren van de richting van relaties tussen entiteiten, ondanks hun vermogen om complexe instructies in natuurlijke taal te volgen.
In een recent onderzoek hebben wetenschappers een significante beperking ontdekt in de manier waarop geavanceerde informatie-ophaalsystemen, zogenaamde dense retrievers, omgaan met specifieke instructies. Hoewel deze modellen steeds vaker claimen dat zij zoekopdrachten kunnen baseren op uitgebreide relevantiecriteria in natuurlijke taal — in plaats van enkel op korte trefwoorden — blijkt hun betrouwbaarheid sterk af te nemen wanneer de richting van een relatie cruciaal is voor het resultaat.
De problematiek van relationele richting
Volgens een wetenschappelijke publicatie op arxiv.org presteren de geëvalueerde modellen goed wanneer lexicale aanwijzingen of specifieke attributen het doelobject onderscheiden. De systemen lopen echter vast wanneer de relevantie afhangt van een directionele relatie tussen dezelfde entiteiten. Dit betekent dat het model weliswaar begrijpt welke entiteiten betrokken zijn, maar niet consistent kan onderscheiden wie of wat de actor is en wie of wat het object in een specifieke relatie.
Om dit fenomeen te analyseren, hebben onderzoekers Zhanyu Wu en collega's een diagnostisch instrument ontwikkeld genaamd SwitchIR. Dit systeem stelt hen in staat om verschillende scenario's te contrasteren:
* Constraint Shift en Explicit Filtering: Controle-instellingen waarbij lexicale aanwijzingen aanwezig zijn.
* Relational Flip: Een scenario waarbij de query en het document ongewijzigd blijven, maar de gevraagde richting van de relatie wordt omgedraaid.
Resultaten van de analyse
De resultaten laten een duidelijk patroon zien. Bij zowel embedding-retrievers als late-interaction retrievers bleken de scores hoog op de controle-instellingen, maar consistent laag bij de 'Relational Flip'. Deze bevindingen bleven overeind, zelfs in een variant die door grote taalmodellen (LLM's) werd ondersteund en handmatig werd gecontroleerd.
De onderzoekers voerden een 'margin decomposition' uit om te begrijpen waarom dit gebeurt. Hieruit bleek dat beide richtingen van een relatie alleen correct worden geïdentificeerd wanneer de interactie die gevoelig is voor richting sterker is dan de algemene voorkeur voor een specifiek paar entiteiten. In de praktijk blijkt deze richtinggevoelige interactie echter vaak te zwak om de inherente voorkeur van het model te overwinnen, zoals beschreven in de .
Mogelijkheden voor verbetering
Ondanks de geconstateerde zwakheden biedt het onderzoek ook perspectief op oplossingen. Via zogenaamde 'diagnostic fine-tuning' konden de onderzoekers aantonen dat modellen wel degelijk in staat zijn om relationeel gedrag aan te leren. Dit gedrag generaliseert bovendien over verschillende relationele families heen. Hierbij werd opgemerkt dat grotere modellen een sterkere generalisatie vertoonden.
De betekenis van 'direction' in deze context is essentieel. Waar een algemeen woordenboek zoals het cambridge.org de term definieert als de positie waarnaar iemand of iets beweegt of kijkt, of als instructies om een plek te vinden, gaat het in de context van informatie-retrieval om de logische richting van een verbinding tussen twee datapunten.
Het onvermogen van AI-systemen om dit onderscheid consistent te maken, kan leiden tot onjuiste zoekresultaten in scenario's waar de hiërarchie of de richting van een actie bepalend is voor de correctheid van de informatie. De volledige details van deze diagnose en de voorgestelde verbeteringen zijn terug te vinden in de .