Agentes de IA na Prática: Lendo Falhas através do Trace

Seu agente de IA não trava. Ele reporta sucesso. Mas sua conta bancária mostra um erro.

Um reembolso foi emitido para um pedido que nunca foi cancelado. O cliente ficou com o item e com o dinheiro. O agente achou que tinha feito o seu trabalho.

Não tente usar um modelo maior. Não apenas adicione um loop de retry. Ambos são suposições.

Em vez disso, leia o trace. O agente já registrou o que fez.

Um bom trace de produção registra o loop passo a passo. Ele deve mostrar:

  • O que o agente observou
  • O que ele decidiu
  • Qual ferramenta ele chamou
  • O que a ferramenta retornou
  • A leitura de verificação feita na fonte da verdade (source of truth)
  • O estado final e o custo

A parte mais importante é a lacuna entre a resposta da ferramenta e a leitura de verificação. Uma ferramenta pode dizer "aceito", mas isso não significa que o mundo mudou. A leitura de verificação diz se a mudança realmente aconteceu.

As falhas geralmente se dividem em dois grupos:

  1. Falhas de Execução
  • Falhas de ferramenta: Argumentos incorretos ou timeouts.
  • Falhas de raciocínio: O modelo escolheu a ação errada.
  • Falhas de estado de controle: O agente acredita em uma mentira. Ele acha que um pedido está cancelado porque a ferramenta disse que sim, mesmo que o banco de dados diga o contrário.
  1. Falhas Estruturais de Loop
  • Degradação de contexto: O agente perde o fio da meada.
  • Loop descontrolado (runaway): O agente repete etapas sem progresso.
  • Travamentos silenciosos: O agente trava sem apresentar erro. Você precisa de um watchdog para tratar o silêncio como uma falha.

Quando encontrar uma falha, não apenas tente novamente. O retry é uma estratégia, não um diagnóstico.

  • Se for um erro transitório, como um timeout, tente novamente.
  • Se for um erro de lógica, tentar novamente apenas gastará seu orçamento para bater no mesmo muro.
  • Se o agente encontrar um bloqueio, pare e avise um humano.

A melhor maneira de corrigir uma falha é transformá-la em um teste.

Use o trace para escrever um avaliador (grader). Se um agente falhou ao verificar um cancelamento, escreva um teste que falhe se um reembolso ocorrer sem um status de cancelamento confirmado. Transforme as falhas pelas quais você pagou em falhas pelas quais você nunca pagará duas vezes.

Source: https://dev.to/gursharansingh/ai-agents-in-practice-part-7-when-the-loop-goes-wrong-reading-agent-failures-from-the-trace-5bdp

Optional learning community: https://t.me/GyaanSetuAi