Onderzoekers hebben NotAI.AI ontwikkeld, een interactief systeem dat niet alleen bepaalt of een tekst door kunstmatige intelligentie is geschreven, maar ook precies uitlegt welke signalen tot dat oordeel hebben geleid.
In tegenstelling tot traditionele AI-detectoren, die vaak enkel een binair label (menselijk of AI) of een betrouwbaarheidsscore geven, richt NotAI.AI zich op 'explainability'. Het systeem stelt gebruikers in staat om in te zien welke specifieke kenmerken de voorspelling hebben beïnvloed. Volgens een publicatie op arxiv.org kan het systeem zelfs een sensitiviteitsmeting bieden op basis van attributie, waarbij lokale bijdragen worden weggestreept om de impact van bepaalde signalen te inspecteren.
Technische werking en kenmerken
Het systeem is gebouwd als een meta-classifier die gebruikmaakt van XGBoost. Om tot een oordeel te komen, combineert NotAI.AI verschillende soorten gegevens. Volgens informatie van huggingface.co integreert het framework 17 interpreteerbare kenmerken. Hierbij worden signalen op basis van kromming (curvature-based signals) gecombineerd met neurale en stylometrische eigenschappen.
De belangrijkste componenten van de analyse zijn:
* Conditionele waarschijnlijkheidskromming: Een methode op zinsniveau om patronen te herkennen.
* Neurale detectiescores: Waaronder scores afkomstig van ModernBERT.
* Stylometrie en leesbaarheid: Kenmerken die kijken naar de schrijfstijl en de complexiteit van de tekst.
Om de complexe berekeningen begrijpelijk te maken voor de gebruiker, maakt het systeem gebruik van TreeSHAP (Shapley Additive Explanations). Deze techniek biedt zowel lokale als globale attributie van kenmerken. Een extra laag, aangedreven door een Large Language Model (LLM), vertaalt deze technische bewijslast vervolgens naar beknopte, natuurlijke taalverklaringen.
Evaluatie en resultaten
De effectiviteit van NotAI.AI is getest op een gebalanceerde subset van de RAID-dataset. Deze dataset bevat een mix van door mensen geschreven teksten, onbewerkte AI-teksten en AI-teksten die bewust zijn aangepast om detectie te omzeilen.
Uit de resultaten blijkt dat het volledige model superieur is aan varianten die slechts één type kenmerk gebruiken. In de testfase behaalde het systeem een F1-score van 0,9685 op de held-out testsplit, zoals vermeld in de documentatie op . Daarnaast is de kwaliteit van de gegenereerde uitleg geëvalueerd door twee model-beoordelaars; zij classificeerden tussen de 94,5% en 98,6% van de verklaringen als getrouw aan het bewijs van de detector.
Toepassing en toegankelijkheid
Het project is ontwikkeld door een team van onderzoekers, waaronder Oleksandr Marchenko Breneur, Adelaide Danilov, Aria Nourbakhsh en Salima Lamsiyah, verbonden aan de Universiteit van Luxemburg. De resultaten van hun werk zijn ook opgenomen in de aclanthology.org, een archief voor computationele linguïstiek.
Om de reproduceerbaarheid te waarborgen en de toegankelijkheid te vergroten, is NotAI.AI uitgerold als een interactieve webapplicatie. Gebruikers kunnen via deze interface in real-time teksten analyseren en visueel inspecteren hoe verschillende statistische en neurale signalen het uiteindelijke besluit beïnvloeden.
Hoewel er commerciële tools bestaan met een gelijkaardige naam die focussen op gedragsanalyse tijdens het typen, zoals beschreven op isnotai.com, richt de academische NotAI.AI-benadering zich specifiek op de analyse van de uiteindelijke tekst via linguïstische en computationele kenmerken. De broncode en demonstratievideo's van het systeem zijn publiekelijk beschikbaar gesteld.