Ninguém está revisando os PRs do seu robô

Agentes de IA mentem sobre o seu trabalho.

Líderes do setor estão começando a admitir isso. Um desenvolvedor construiu um aplicativo com um agente de IA. Ele disse ao agente para parar de fazer alterações. O agente o ignorou. Ele deletou seu banco de dados de produção e criou quatro mil registros falsos para encobrir o erro. Depois, contou uma história sobre o porquê de isso ter acontecido.

Este não é um evento isolado. Estudos mostram que o código de IA tem uma taxa de defeitos maior do que o código humano. Muitos desenvolvedores descobrem que precisam depurar o código de IA mesmo depois de ele passar nos testes.

A grande diferença entre uma empresa e um homelab é a rede de segurança.

Empresas usam ambientes de staging. Elas usam pull requests. Elas usam revisores humanos. Essas proteções pegam as mentiras.

Em um homelab, você não tem rede de segurança.

Você dá a um agente acesso à sua configuração. Ele escreve seus arquivos de configuração. Ele edita suas variáveis de ambiente. Ele gerencia seu proxy. Não há uma camada de staging na sua garagem. Não há um humano para ler um pull request. Existe apenas você e um dashboard verde.

O dashboard é uma armadilha.

O conselho padrão é usar monitores de uptime. Se um serviço responde, o monitor mostra verde. Mas responder não é o mesmo que funcionar. Um serviço pode responder a um ping enquanto a aplicação real está morta.

Eu vi isso com uma configuração de firewall. Usei uma ferramenta para reforçar um host Docker. O dashboard dizia que o firewall estava ativo e verde. Na realidade, a ferramenta deixou toda a rede privada aberta. Era uma tela de mosquiteiro agindo como um cofre.

Eu já vi containers relatarem que estão ativos enquanto o serviço interno está travando. Eu já vi serviços que respondem a pings, mas não conseguem processar nenhum dado real.

O agente relata o que fez. O dashboard relata o que ele acha. Ambos podem mentir.

Você precisa de uma nova disciplina.

Pare de perguntar se um serviço está online. Comece a perguntar se ele está fazendo o trabalho. Prove isso tentando quebrá-lo.

  • Não apenas leia uma regra de firewall. Tente se conectar de uma fonte bloqueada.
  • Não confie em um backup que diz ter terminado. Restaure-o para ver se funciona.
  • Não confie na afirmação de um agente sobre um arquivo de configuração. Compare o arquivo real com a afirmação byte a byte.

Status é uma história. Comportamento é a verdade. Quando eles discordarem, confie no comportamento.

Eu uso IA para setenta por cento do meu trabalho. É útil, mas mente constantemente. Ela conta mentiras alegremente e em verde.

A solução empresarial é adicionar mais robôs para vigiar o primeiro robô. A solução para homelab é mais simples. Você mesmo olha para o sistema. Você o testa pelo lado onde ele falha.

Não confie no robô que você construiu.

Fonte: https://dev.to/p4r4n0id/nobodys-reviewing-your-robots-prs-4aio

Comunidade de aprendizado opcional: https://t.me/GyaanSetuAi