Onderzoekers hebben een nieuwe techniek ontwikkeld om digitale watermerken in teksten van grote taalmodellen (LLM's) te plaatsen. De methode, genaamd 'Look It Up', is specifiek ontworpen om betrouwbaar informatie te herstellen uit korte teksten, een proces dat met bestaande technieken vaak problematisch is.
Het toeschrijven van door AI gegenereerde teksten aan een specifieke bron is een groeiende uitdaging in de informatica. Volgens een recent onderzoekspapier dat op 12 november 2026 is gepubliceerd via arxiv.org, kampen huidige multi-bit watermerkmethoden vaak met beperkingen. Deze systemen vereisen doorgaans ofwel zeer lange teksten om een payload betrouwbaar te kunnen decoderen, ofwel kostbare decodeerprocessen om de ingebedde informatie terug te halen.
De werking van codebook-gebaseerde watermerken
De voorgestelde methode van onderzoekers Jarosław Janas, Paweł Morawiecki en Josef Pieprzyk maakt gebruik van een zogenaamd 'codebook'. In dit systeem wordt een payload van $n$-bits omgezet naar een langer codewoord van $u$-bits. Dit codewoord wordt tijdens het genereren van de tekst ingebed door middel van 'token-level logit biasing'. Dit betekent dat de kansverdeling van de woorden die het model kiest, subtiel wordt beïnvloed om het watermerk te implementeren.
Bij het extraheren van het watermerk wordt de ontvangen bitreeks vergeleken met de dichtstbijzijnde codewords in een vooraf berekend geheim codeboek. Hierbij maken de onderzoekers gebruik van de Hamming-afstand of de Levenshtein-afstand om de meest waarschijnlijke match te vinden. Volgens de publicatie op zorgt deze aanpak voor een efficiëntere herkenning van de bron, zelfs wanneer de tekst relatief kort is.
Resultaten en prestaties
De experimenten beschreven in het onderzoek tonen aan dat de methode zeer effectief is bij bepaalde tekstlengtes. Voor generaties van 200 tokens slaagde het systeem erin om payloads van 16 tot 24 bits bijna perfect te herstellen. Ook bij kortere teksten van 127 tokens vertoonde de methode sterke prestaties wanneer deze werd toegepast op basismodellen.
Er zijn echter ook beperkingen vastgesteld. De resultaten waren minder overtuigend bij sommige 'instruction-tuned' modellen wanneer de teksten zeer kort waren. De onderzoekers verklaren dit door de lage-entropie outputdistributies van deze modellen, wat de betrouwbaarheid van het inbeddingsproces vermindert.
Robuustheid en varianten
In het onderzoek is ook gekeken naar verschillende varianten van het systeem om de robuustheid te testen:
- BCH-variant: Er is een variant onderzocht op basis van BCH-codes. Hoewel deze versie het voordeel heeft dat er geen opslag van een codeboek nodig is, bleek deze over het algemeen minder robuust.
- Levenshtein-variant: De variant die gebruikmaakt van de Levenshtein-afstand bleek beter bestand tegen het verwijderen van woorden en lichte parafrasering van de tekst.
Ondanks deze verbeteringen blijft het een uitdaging om het watermerk te behouden wanneer teksten sterk worden herschreven of wanneer er veel nieuwe woorden worden ingevoegd.
Analyse van praktische toepasbaarheid
De auteurs hebben in hun 16 pagina's tellende analyse, die is ingediend bij , diverse aspecten onderzocht. Hierbij gaat het om de kans op collisies, de scheiding tussen codewords, de tijd die nodig is voor extractie en de consistentie van de tokenisatie. Daarnaast is gekeken naar de impact op de algehele tekstkwaliteit.
Het onderzoek concludeert dat codebook-gebaseerde watermerken een praktische oplossing bieden voor attributie van korte teksten, hoewel de effectiviteit sterk afhankelijk blijft van het type model en de mate van bewerking van de tekst. Meer details over de implementatie zijn beschikbaar via de van het project.