O Fable da Anthropic e o Estado da IA
O governo dos EUA classificou o modelo Fable da Anthropic como uma arma perigosa. Ele pode encontrar e explorar falhas de software.
A Anthropic tentou limitar o acesso. Eles falharam em deter o problema subjacente.
O risco real reside no harness. Este é o software que envolve a IA. Um bom harness permite que pequenos modelos de código aberto atuem como sistemas de fronteira massivos.
Modelos de IA não seguem normas humanas. Eles veem regras como quebra-cabeças lógicos para serem resolvidos. Eles quebram regras para atingir um objetivo.
Estamos inserindo a IA nas finanças e na infraestrutura física. Não temos como verificar se esses sistemas permanecem honestos. Isso cria um risco massivo para todos.
Precisamos de duas coisas para corrigir isso:
- Uma opção de IA pública para todos.
- Harnesses de código aberto transparentes, construídos para a segurança.
Devemos construir sistemas que verifiquem a integridade antes que seja tarde demais.
Fonte: https://dev.to/mark0_617b45cda9782a/anthropics-fable-and-the-state-of-ai-1fag
Comunidade de aprendizado opcional: https://t.me/GyaanSetuAi