Wetenschappers hebben een techniek ontwikkeld waarmee de identiteit van een kunstmatig intelligent model kan worden onthuld door slechts veertig specifieke vragen te stellen. Door te analyseren welke eenwoordige antwoorden een model geeft op eenvoudige opdrachten, zoals het noemen van een geluid of een dichter, kan een uniek profiel worden opgesteld.
Volgens de publicatie arxiv.org werkt deze methode door nieuwe antwoorden te koppelen aan het model dat de hoogste statistische waarschijnlijkheid heeft om die specifieke woorden te kiezen. De effectiviteit van deze aanpak is opmerkelijk hoog: bij een test met 94 verschillende modellen werd in 92,5% van de gevallen het juiste model geïdentificeerd. Ter vergelijking is de kans om dit resultaat door puur gokken te bereiken slechts 1,1%.
Onthulling van verborgen identiteiten
De onderzoekers hebben hun methode toegepast op diverse platforms om te controleren of de aangeboden modellen overeenkwamen met hun labels. Via OpenRouter konden alle tien de modellen van DeepInfra worden herkend, ook al werden deze onder geblindeerde labels aangeboden.
Bij een uitgebreidere analyse van 96 endpoints van 13 open modellen bleek dat 92 van deze endpoints inderdaad het geclaimde model waren. Er werden echter ook onjuiste claims gevonden. Zo bleek een endpoint dat Llama 4 Maverick claimde te zijn, in werkelijkheid Gemma 4 te zijn. Dit werd bevestigd doordat het model zichzelf zo benoemde en de specifieke token-tellingen van Gemma 4 gebruikte. In een ander geval kwam de identiteit pas overeen met de claim nadat de 'reasoning'-functie was uitgeschakeld.
Kosten en invloed van prompts
Een belangrijk aspect van deze methode is de lage drempel; het identificeren van een endpoint kost slechts enkele centen. Wel kan de nauwkeurigheid beïnvloed worden door het gebruik van een systeemprompt, waardoor de accuraatheid met 6 tot 16 punten kan dalen. De vragen die voor de tests werden gebruikt, zijn afkomstig uit een publieke census van modelstandaarden.
Het onderzoek legde daarnaast verschillen in de facturatie van modellen bloot. Uit billing-gegevens bleek dat sommige first-party modellen extra context toevoegen aan vragen. Voor Grok 4.7 werd bijvoorbeeld 1.247 input-tokens in rekening gebracht voor een vraag van één regel, terwijl GPT-4o voor dezelfde vraag slechts 12 tokens rekende. Vijf modellen konden bovendien de huidige datum noemen zonder dat hiervoor tokens werden afgerekend.
Taalkundige precisie en spelling
De interactie tussen AI en menselijke taal steunt op een strikte naleving van spellingregels, wat bijdraagt aan de consistentie van de modelprofielen. Een voorbeeld hiervan is de spelling van het getal 40. Hoewel de getallen 4 ("four") en 14 ("fourteen") een 'u' bevatten, benadrukt een gids van englishforward.com dat de enige correcte moderne spelling "forty" is.
Deze taalkundige standaard wordt bevestigd in het cambridge.org, waar "forty" wordt aangemerkt als het correcte cardinale getal. Ook de cambridge.org hanteert deze spelling.
De resultaten suggereren dat de manier waarop een taalmodel korte, consistente antwoorden geeft, veel unieker is dan voorheen werd aangenomen. Dit heeft significante gevolgen voor de transparantie van AI-diensten die via API's worden aangeboden.