Pare de fazer fine-tuning no seu modelo. O problema é a sua arquitetura.

Demos parecem ótimas. Sistemas de produção parecem diferentes. Existe um abismo entre os dois.

As pessoas chamam tudo de agente agora. Um chatbot com memória é um agente. Um script com um loop é um agente. Esse erro causa falhas de engenharia. Você acaba complicando demais tarefas simples e subdimensionando tarefas complexas.

Um agente precisa de um objetivo. Ele não apenas segue uma instrução. Ele decide o que fazer a seguir. Ele lida com falhas. Ele sabe quando parar.

Use estas regras para verificar seu sistema:

  • Se um humano precisa guiar cada passo, é uma interface de chat.
  • Se ele se recupera de uma chamada de ferramenta que falhou, é um agente.
  • Se ele divide um objetivo em subtarefas, é um agente real.

Equipes de sucesso não perseguem novos modelos. Elas constroem pipelines específicos e direcionados. Elas focam nestas três coisas:

  • Design de ferramentas: Quão limpa é a interface?
  • Tratamento de falhas: O que acontece quando uma ferramenta não retorna nada?
  • Observabilidade: Você consegue rastrear cada decisão?

O framework que você usa importa menos do que os seus padrões. Eu já reconstruí arquiteturas em diferentes frameworks e os resultados permanecem os mesmos. O framework é o andaime. A arquitetura é o edifício.

Siga estes padrões:

  • Planeje e depois execute. Use um passo para o raciocínio e um passo separado para a ação.
  • Separe a recuperação do raciocínio. Buscar contexto e usar o contexto são tarefas diferentes.
  • Use handoffs explícitos. Quando um agente passa o trabalho para outro, use logs estruturados.

RAG é o padrão, mas o chunking muitas vezes está errado. Se você dividir os documentos de forma ruim, o modelo perde o contexto. Isso causa alucinações.

Se o seu pipeline de RAG retorna resultados inúteis, verifique o seu chunking e os metadados. Não culpe o modelo de embedding.

O desafio de engenharia é construir sistemas nos quais você possa confiar. Foque em governança, observabilidade e uso confiável de ferramentas. Não apenas persiga benchmarks.

Os melhores engenheiros focarão no design de sistemas. Eles construirão sistemas de IA que outros possam manter e confiar.

Fonte: https://dev.to/aibughunter/stop-fine-tuning-your-model-your-architecture-is-the-problem-3kkg