Detectores de IA Estão Apenas Adivinhando

Detectores de IA frequentemente sinalizam textos escritos por humanos como se fossem feitos por máquinas. Muitas empresas usam essas ferramentas para contratação ou avaliação. Elas tratam a pontuação como um fato. Não é um fato.

Essas ferramentas não leem o seu texto em busca de significado. Elas usam matemática para adivinhar a probabilidade de ser um conteúdo gerado por máquina.

Elas analisam três coisas principais:

  • Perplexity (Perplexidade): Isso mede o quão previsíveis são as suas palavras. A IA escolhe a próxima palavra mais provável. A escrita humana é frequentemente inesperada. Uma baixa perplexidade se assemelha à IA.
  • Burstiness (Variabilidade): Isso mede a variedade das frases. Humanos misturam frases curtas e longas. A IA costuma usar um ritmo constante. Pouca variedade se assemelha à IA.
  • Classifiers (Classificadores): Esses modelos estudam amostras humanas e de máquinas. Eles adivinham com base em padrões. Se o modelo encontrar um novo estilo de escrita, ele falha.

Watermarking (Marca d'água) é outro método. Ele esconde padrões na escolha das palavras. Esse método falha se alguém editar ou parafrasear o texto.

Essas ferramentas possuem falhas graves:

  • Uma boa escrita parece IA. Uma prosa clara, simples e estruturada tem baixa perplexidade. Quanto melhor você escreve, mais robótico você parece para a ferramenta.
  • Viés contra falantes não nativos. Um estudo de Stanford descobriu que os detectores sinalizam falantes de inglês não nativos com mais frequência. Frases simples parecem resultados de máquina para essas ferramentas.
  • Fácil de enganar. Alguns sinônimos ou edições leves enganam o detector. Isso pune escritores honestos enquanto permite que usuários de IA de baixo esforço passem despercebidos.

Até a OpenAI parou de usar seu próprio detector em 2023 porque ele não era preciso. Se os próprios criadores não conseguem detectar sua própria IA, não confie em uma ferramenta de terceiros que alegue alta precisão.

Como usar essas pontuações com segurança:

  • Não tome decisões baseadas em uma única pontuação. Uma acusação falsa causa danos reais a estudantes ou candidatos a empregos.
  • Verifique o processo. Analise o histórico de edições e rascunhos em vez de uma pontuação de probabilidade.
  • Demonstre incerteza. Se você usar essas ferramentas, mostre uma margem de confiança em vez de um rótulo binário de "humano" ou "IA".

Detectores de IA são comparadores de padrões. Eles são úteis para dar pistas, mas perigosos como prova.

Fonte: https://dev.to/ricco020/ai-text-detectors-are-mostly-guessing-how-they-actually-work-2ibl

Comunidade de aprendizado opcional: https://t.me/GyaanSetuAi