Detektory AI jedynie zgadują

Detektory AI często oznaczają teksty napisane przez ludzi jako wygenerowane przez maszynę. Wiele firm używa tych narzędzi podczas rekrutacji lub oceniania. Traktują one wynik jako fakt. A nie jest on faktem.

Narzędzia te nie czytają tekstu pod kątem znaczenia. Wykorzystują matematykę, aby oszacować prawdopodobieństwo, że tekst jest wynikiem pracy maszyny.

Analizują one trzy główne aspekty:

  • Perplexity (złożoność): Mierzy ona, jak przewidywalne są używane słowa. AI wybiera najbardziej prawdopodobne kolejne słowo. Ludzka twórczość jest często nieprzewidywalna. Niska wartość perplexity przypomina tekst wygenerowany przez AI.
  • Burstiness (zmienność): Mierzy ona różnorodność zdań. Ludzie mieszają zdania krótkie i długie. AI często stosuje jednostajny rytm. Mała różnorodność przypomina tekst wygenerowany przez AI.
  • Klasyfikatory: Modele te badają próbki tekstów ludzkich i maszynowych. Przewidują na podstawie wzorców. Jeśli model napotka nowy styl pisania, zawodzi.

Watermarking (znakowanie wodne) to kolejna metoda. Ukrywa ona wzorce w doborze słów. Metoda ta zawodzi, jeśli ktoś edytuje lub parafrazuje tekst.

Narzędzia te mają poważne wady:

  • Dobre pisarstwo przypomina AI. Jasna, prosta i ustrukturyzowana proza ma niską wartość perplexity. Im lepiej piszesz, tym bardziej „robotycznie” wyglądasz dla narzędzia.
  • Stronniczość wobec osób, dla których angielski nie jest językiem ojczystym. Badanie przeprowadzone przez Stanford wykazało, że detektory częściej oznaczają osoby niebędące native speakerami. Prosta fraza w oczach tych narzędzi wygląda jak wynik pracy maszyny.
  • Łatwość oszukania. Kilka synonimów lub drobne poprawki wystarczą, by zmylić detektor. To karze uczciwych autorów, pozwalając jednocześnie na przejście osobom używającym AI bez żadnego wysiłku.

Nawet OpenAI przestało używać własnego detektora w 2023 roku, ponieważ nie był on dokładny. Jeśli sami twórcy nie potrafią wykryć własnej sztucznej inteligencji, nie ufaj narzędziom firm trzecich, które deklarują wysoką skuteczność.

Jak bezpiecznie korzystać z tych wyników:

  • Nie podejmuj decyzji na podstawie pojedynczego wyniku. Błędne oskarżenie wyrządza realną krzywdę studentom lub osobom szukającym pracy.
  • Sprawdzaj proces tworzenia. Zamiast wyniku prawdopodobieństwa, przyglądaj się historii edycji i szkicom.
  • Wykazuj niepewność. Jeśli korzystasz z tych narzędzi, zamiast binarnej etykiety „człowiek” lub „AI”, podawaj zakres pewności.

Detektory AI to dopasowywacze wzorców. Mogą być przydatne jako wskazówka, ale są niebezpieczne jako dowód.

Źródło: https://dev.to/ricco020/ai-text-detectors-are-mostly-guessing-how-they-actually-work-2ibl

Opcjonalna społeczność edukacyjna: https://t.me/GyaanSetuAi