𝗚𝗹𝗶 𝗔𝗜 𝗗𝗲𝘁𝗲𝗰𝘁𝗼𝗿 𝗦𝘁𝗮𝗻𝗻𝗼 𝗧𝗶𝗿𝗮𝗻𝗱𝗼 𝗮 𝗜𝗻𝗱𝗼𝘃𝗶𝗻𝗮𝗿𝗲

Gli AI detector spesso segnalano testi scritti da esseri umani come generati da una macchina. Molte aziende utilizzano questi strumenti per le assunzioni o per la valutazione. Considerano il punteggio come un dato di fatto. Non lo è.

Questi strumenti non leggono il significato del testo. Utilizzano la matematica per ipotizzare la probabilità che l'output sia generato da una macchina.

Analizzano tre aspetti principali:

  • Perplexity: misura quanto siano prevedibili le parole utilizzate. L'IA sceglie la parola successiva più probabile. La scrittura umana è spesso inaspettata. Una bassa perplessità somiglia all'IA.
  • Burstiness: misura la varietà delle frasi. Gli esseri umani alternano frasi brevi e lunghe. L'IA utilizza spesso un ritmo costante. Una scarsa varietà somiglia all'IA.
  • Classifiers: questi modelli studiano campioni umani e di macchine. Fanno ipotesi basandosi su schemi ricorrenti. Se il modello incontra un nuovo stile di scrittura, fallisce.

Il watermarking è un altro metodo. Nasconde schemi nella scelta delle parole. Questo metodo fallisce se qualcuno modifica o parafrasa il testo.

Questi strumenti presentano gravi difetti:

  • Una buona scrittura somiglia all'IA. Una prosa chiara, semplice e strutturata ha una bassa perplessità. Più scrivi bene, più sembri robotico per uno strumento di rilevamento.
  • Pregiudizio contro i non madrelingua. Uno studio di Stanford ha rilevato che i rilevatori segnalano più spesso i non madrelingua inglesi. Una formulazione semplice appare come un output di una macchina per questi strumenti.
  • Facili da ingannare. Qualche sinonimo o una leggera modifica mandano in crisi il rilevatore. Questo penalizza gli scrittori onesti, permettendo invece il passaggio a chi usa l'IA con il minimo sforzo.

Persino OpenAI ha smesso di utilizzare il proprio rilevatore nel 2023 perché non era accurato. Se i creatori non riescono a rilevare la propria IA, non fidarti di uno strumento di terze parti che dichiara un'elevata precisione.

Come utilizzare questi punteggi in modo sicuro:

  • Non agire sulla base di un singolo punteggio. Una falsa accusa può causare danni reali a studenti o candidati.
  • Verifica il processo. Controlla la cronologia delle modifiche e le bozze invece di un punteggio di probabilità.
  • Mostra l'incertezza. Se utilizzi questi strumenti, indica un intervallo di confidenza invece di un'etichetta binaria "umano" o "IA".

Gli AI detector sono comparatori di schemi. Sono utili per avere degli indizi, ma sono pericolosi se usati come prova.

Source: https://dev.to/ricco020/ai-text-detectors-are-mostly-guessing-how-they-actually-work-2ibl

Optional learning community: https://t.me/GyaanSetuAi