AI-detectors gissen maar wat

AI-detectors markeren menselijke teksten vaak als machine-gegenereerd. Veel bedrijven gebruiken deze tools voor werving of beoordelingen. Ze beschouwen de score als een feit. Dat is het niet.

Deze tools lezen je tekst niet om de betekenis te begrijpen. Ze gebruiken wiskunde om de waarschijnlijkheid van machine-output te voorspellen.

Ze kijken naar drie belangrijke zaken:

  • Perplexity: Dit meet hoe voorspelbaar je woorden zijn. AI kiest het meest waarschijnlijke volgende woord. Menselijk schrijven is vaak onverwacht. Een lage perplexity lijkt op AI.
  • Burstiness: Dit meet de variatie in zinsbouw. Mensen wisselen korte en lange zinnen af. AI gebruikt vaak een constant ritme. Weinig variatie lijkt op AI.
  • Classifiers: Deze modellen bestuderen menselijke en machinale monsters. Ze gissen op basis van patronen. Als het model een nieuwe schrijfstijl ziet, faalt het.

Watermarking is een andere methode. Het verbergt patronen in woordkeuzes. Deze methode faalt als iemand de tekst bewerkt of parafraseert.

Deze tools hebben ernstige gebreken:

  • Goed schrijven lijkt op AI. Heldere, eenvoudige en gestructureerde proza heeft een lage perplexity. Hoe beter je schrijft, hoe robotachtiger je voor een tool overkomt.
  • Vooringenomenheid tegenover niet-moedertaalsprekers. Een studie van Stanford toonde aan dat detectoren niet-moedertaalsprekers van het Engels vaker markeren. Eenvoudige formuleringen lijken voor deze tools op machine-output.
  • Makkelijk te misleiden. Een paar synoniemen of lichte aanpassingen omzeilen de detector. Dit straft eerlijke schrijvers, terwijl gebruikers die met minimale inspanning AI gebruiken, erdoorheen glippen.

Zelfs OpenAI stopte in 2023 met het gebruik van zijn eigen detector omdat deze niet nauwkeurig genoeg was. Als de makers hun eigen AI niet kunnen detecteren, vertrouw dan geen externe tool die beweert een hoge nauwkeurigheid te hebben.

Hoe je deze scores veilig kunt gebruiken:

  • Handel niet op basis van een enkele score. Een valse beschuldiging kan echte schade toebrengen aan studenten of werkzoekenden.
  • Controleer het proces. Kijk naar de bewerkingsgeschiedenis en concepten in plaats van naar een waarschijnlijkheidsscore.
  • Toon onzekerheid. Als je deze tools gebruikt, toon dan een reeks van betrouwbaarheid in plaats van een binaire label 'mens' of 'AI'.

AI-detectors zijn patroonherkenners. Ze zijn nuttig voor aanwijzingen, maar gevaarlijk als bewijs.

Bron: https://dev.to/ricco020/ai-text-detectors-are-mostly-guessing-how-they-actually-work-2ibl

Optionele leercommunity: https://t.me/GyaanSetuAi