𝗢𝗽𝗲𝗻𝗔𝗜 𝗣𝗿𝗲𝘃𝗲 𝗙𝗮𝗹𝗵𝗮𝘀 𝗱𝗲 𝗠𝗼𝗱𝗲𝗹𝗼𝘀 𝗨𝘀𝗮𝗻𝗱𝗼 𝗖𝗵𝗮𝘁𝘀 𝗔𝗻𝘁𝗶𝗴𝗼𝘀
A OpenAI encontrou uma maneira de prever quando um modelo irá falhar. Eles fazem isso reproduzindo chats antigos de usuários.
Este método encontra padrões de erro em logs históricos. Ele não precisa de novos dados rotulados. Isso torna os testes de segurança mais rápidos e baratos.
Como funciona:
- O sistema reproduz conversas reais do passado através do modelo.
- Ele busca vestígios de erros anteriores.
- Ele busca mal-entendidos repetidos ou casos extremos.
- Ele identifica onde o modelo se desvia de respostas corretas.
Testes tradicionais frequentemente deixam passar erros raros. Esta nova abordagem utiliza o comportamento real do usuário para encontrar essas lacunas. Ela depende de dados existentes em vez de criar casos de teste artificiais.
Limites atuais: A OpenAI ainda não compartilhou números específicos. Não sabemos as taxas de erro ou as pontuações de benchmark. Também não sabemos se isso funcionará para modelos futuros, como o GPT-5.
O que observar: Aguarde por um relatório técnico ou um artigo no arXiv. Procure pela correlação entre as falhas previstas e os erros reais de implantação. Isso mostrará se o método funciona em escala.
Fonte: https://dev.to/gentic_news/openai-can-predict-model-failures-via-past-chat-replay-2hej
Comunidade de aprendizado opcional: https://t.me/GyaanSetuAi