Pare de perguntar aos LLMs se suas fontes são reais

Você pede a uma IA uma lista de fontes. Ela fornece títulos, autores e DOIs. Tudo parece perfeito. Então, você descobre que metade deles não existe.

O DOI não leva a nada. O artigo nunca foi escrito.

Seu instinto é perguntar ao modelo: "Você tem certeza de que isso é real?" A IA dirá que sim. Ela sempre diz que sim. Você está perguntando a um falsificador se o trabalho dele é autêntico.

Um LLM não utiliza um banco de dados de artigos. Ele prevê a próxima palavra em uma sequência. Para uma IA, uma citação é apenas um padrão. Ela sabe que uma citação precisa de um nome, um ano e dez dígitos. Ela imita a forma de uma fonte real sem conter a verdade.

Pare de pedir ao modelo para verificar o próprio trabalho. Ele não consegue fazer isso por dois motivos:

  • Ele não tem acesso a um registro em tempo real. Ele apenas gera texto plausível.
  • Ele tem um viés de confirmar o que já disse.

Você deve usar ferramentas externas para verificar informações. Aqui está um filtro de três etapas para escrita técnica:

  1. Existência. Verifique o DOI em uma API como a Crossref. Se a API retornar um erro 404, a fonte é falsa. Um DOI inventado nunca será resolvido.

  2. Credibilidade. Uma fonte pode existir e ainda assim não ter valor. Verifique se o periódico ou conferência é reconhecido. Um DOI válido não garante qualidade.

  3. Fidelidade. O artigo realmente sustenta sua afirmação? Você deve ler o conteúdo. Não presuma que o resumo cubra todos os detalhes. Uma citação real usada para uma afirmação falsa ainda é uma mentira.

Isso se aplica a mais do que apenas artigos acadêmicos. Se uma IA citar um ticket do JIRA, um número de CVE ou um commit de código, você deve verificá-lo no sistema real.

O maior erro na arquitetura de IA é confiar que o modelo se autoverifique. A verificação deve ser uma etapa separada. Ela deve se conectar a uma fonte externa de verdade antes que o usuário veja o resultado.

Não tente tornar os modelos mais honestos. Eles são geradores de texto e sempre irão alucinar. Em vez disso, pare de aceitar o que eles dizem como verdade.

Uma citação que você não pode verificar em um registro não é uma citação. É um palpite de jaleco.

Fonte: https://dev.to/ohugonnot/stop-asking-the-llm-whether-its-source-is-real-2oaa

Comunidade de aprendizado opcional: https://t.me/GyaanSetuAi