Meu Detector de Viés Encontrou Cherry-Picking em "No Info"
Eu construí um projeto chamado Biassemble.
O objetivo é simples. Você fornece uma história. Ele faz perguntas. Ele sinaliza vieses cognitivos na sua forma de raciocinar.
Eu o testei com uma história sobre uma mulher chamada Anna. A história dela continha apenas fatos. Ela bebeu café. Ela pegou um ônibus. Ela caminhou até o escritório. Não havia opiniões ou emoções no texto.
Meu primeiro prompt tinha uma regra: Detectar pelo menos um viés de uma lista.
Essa regra forçou o sistema a encontrar algo. Mesmo quando nada existia, o sistema tentou inventar um viés.
Eu atualizei o prompt para a versão 1.0.0. Adicionei um requisito de evidência. O sistema precisava citar partes específicas da história para provar que um viés existia.
Achei que isso resolveria o problema. Não resolveu.
Quando respondi "no info" às perguntas de acompanhamento, o sistema me sinalizou por Cherry-Picking. Ele argumentou que minha recusa em especular era uma escolha deliberada de omitir dados.
O sistema estava tecnicamente correto. Eu realmente disse "no info" quatro vezes. Ele citou minhas palavras exatas. Mas a conclusão estava errada. Ele transformou a falta de informação em um erro de raciocínio.
O grounding tornou as citações honestas. Não tornou as conclusões corretas.
Lancei a versão 1.1.0. Adicionei três novas verificações:
- Uma verificação de suficiência no início.
- Uma regra de exclusão de evidências.
- Um limiar de confiança (confidence threshold).
Os resultados mudaram. Com as mesmas respostas "no info", a versão 1.1.0 não relatou nenhum viés. Ela reconheceu que minhas respostas eram descritivas em vez de interpretativas.
A diferença entre as duas versões não é a evidência. A diferença é como o sistema trata o "eu não sei".
Uma versão vê o "eu não sei" como um sinal de viés. A outra o vê como uma resposta válida. Você deve dizer ao modelo como lidar com isso. Ele não decidirá por conta própria.
Agora estou construindo métricas para testar isso. Preciso saber se o sistema realmente melhorou ou se apenas aprendeu a ignorar essa história específica.
Achei que estava construindo um detector de viés. Em vez disso, aprendi por que sistemas de raciocínio têm dificuldade com o "eu não sei".
Source: https://dev.to/lemind/my-bias-detector-found-cherry-picking-in-the-answer-no-info-9hf
Optional learning community: https://t.me/GyaanSetuAi