Onderzoekers hebben ChainMark ontwikkeld, een nieuwe techniek om synthetische teksten van grote taalmodellen (LLM's) te markeren zonder dat de detector toegang nodig heeft tot het oorspronkelijke model. De methode biedt een wiskundig onderbouwde manier om de nauwkeurigheid van detectie te kalibreren, wat essentieel is voor de naleving van toekomstige regelgeving.
Met de komst van strikte regelgeving, zoals de EU AI Act, wordt de noodzaak voor machine-leesbare markeringen van door AI gegenereerde teksten steeds groter. Huidige systemen voor watermerken kampen echter vaak met beperkingen: ze zijn vaak afhankelijk van het taalmodel dat de tekst heeft gegenereerd of maken gebruik van heuristische drempelwaarden die niet consistent zijn. Volgens een recent onderzoekspaper op arxiv.org introduceert ChainMark een oplossing die deze afhankelijkheden wegneemt.
Hoe ChainMark werkt
ChainMark functioneert als een zogenaamd 'actief watermerk'. In plaats van te vertrouwen op de interne logica van een taalmodel, verdeelt het systeem de woordenschat van het model in verschillende 'toestanden' (S) met behulp van een versleutelde SHA-256 hashfunctie. Tijdens het genereren van tekst dwingt het systeem een specifieke overgang tussen deze toestanden af op een bepaald percentage van de posities in de tekst.
Het grote voordeel van deze aanpak is dat de detector niet opnieuw toegang hoeft te hebben tot het taalmodel om te bepalen of een tekst synthetisch is. De detector hoeft enkel de partitie van de woordenschat te reproduceren met behulp van dezelfde cryptografische sleutel. Dit proces gebeurt via een efficiënte reeks hash-operaties, wat resulteert in een snelle detectie zonder zware computationele vereisten.
Wiskundige kalibratie en robuustheid
Een van de belangrijkste innovaties van ChainMark is de introductie van een 'closed-form calibration'. In het onderzoek van wordt een formule gepresenteerd die de minimale hoeveelheid benodigde toestanden koppelt aan de gewenste foutmarge (False Positive Rate), de lengte van de tekst en het beschikbare budget.
Daarnaast bewijzen de auteurs een universele robuustheidsdrempel. Volgens de publicatie op ligt deze drempel op ongeveer 29,3%. Dit betekent dat het watermerk bestand is tegen bepaalde manipulaties van de tekst, ongeacht de specifieke instellingen van het aantal toestanden of de tekstlengte. De onderzoekers hebben deze principes verder gegeneraliseerd naar diverse overgangstopologieën om de veelzijdigheid van het systeem te vergroten.
Prestaties en vergelijking
Om de effectiviteit van ChainMark te testen, is de methode toegepast op drie verschillende instructie-geoptimaliseerde taalmodellen over vier diverse domeinen. De resultaten werden vergeleken met bestaande watermerktechnieken zoals KGW en SWEET.
Uit de data blijkt dat ChainMark superieur presteert wanneer teksten worden blootgesteld aan aanvallen, zoals vertalingen naar andere talen of het willekeurig vervangen van woorden. Bij een gelijkwaardig budget voor het watermerk bleek ChainMark effectiever in het behouden van de detecteerbaarheid. Bovendien stelden de onderzoekers vast dat een empirische herkalibratie op basis van één enkel corpus voldoende was om de beoogde foutmarge van 1% op natuurlijke taalteksten te herstellen.
Context en implicaties
De ontwikkeling van ChainMark is direct gekoppeld aan de groeiende vraag naar transparantie in AI-gegenereerde content. Omdat de methode 'model-free' is, kunnen externe controleurs of overheidsinstanties teksten verifiëren zonder dat de eigenaar van het AI-model de volledige architectuur of gewichten van het model hoeft vrij te geven.
Het onderzoek, dat is ingediend onder de categorieën Cryptografie, Beveiliging en Artificiële Intelligentie op , markeert een stap richting een gestandaardiseerde en wiskundig bewijsbare manier om synthetische content te onderscheiden van menselijke teksten, wat cruciaal is voor het bestrijden van desinformatie en het waarborgen van auteursrecht.