Lo que aprendí al ejecutar agentes de IA en producción
Construyo sistemas de IA. Hablo con ingenieros que lanzan código. Existe una brecha entre las demostraciones llamativas y los sistemas de producción reales.
Ahora la gente llama "agente" a todo. Un script con un bucle es un agente. Un chatbot con memoria es un agente. Este error conduce a una mala ingeniería.
Los equipos diseñan en exceso tareas simples. Añaden una orquestación compleja a flujos de trabajo que solo necesitan un buen prompt.
Un agente debe tener un objetivo, no solo una instrucción. Debe decidir qué hacer a continuación. Debe gestionar fallos. Debe saber cuándo ha terminado.
Todo lo demás es solo una llamada a una función.
• Si un humano debe guiar cada paso, es una interfaz de chat. • Si un sistema se recupera de una llamada fallida a una herramienta, es un agente. • Si un sistema desglosa un objetivo en subtareas, es un agente real.
Los despliegues de agentes reales son de alcance limitado. Hacen una sola cosa bien, como la extracción de documentos o la revisión de código. No son motores de razonamiento general.
Los equipos exitosos se centran en tres cosas:
- Diseño de herramientas: Interfaces limpias para lo que el agente llama.
- Gestión de fallos: Qué sucede cuando una herramienta no devuelve nada.
- Observabilidad: Rastrear por qué un agente tomó una decisión específica.
Los frameworks como LangChain o CrewAI cambian cada mes. El framework importa menos que los patrones.
Utiliza estos patrones para tener éxito:
- Planificar y luego ejecutar: Utiliza un paso para la planificación y un paso separado para la ejecución.
- Separar la recuperación del razonamiento: Obtener el contexto y usar el contexto son tareas diferentes.
- Traspasos explícitos: Utiliza logs estructurados cuando un agente pasa el trabajo a otro.
RAG es el estándar, pero la mayoría de la gente falla en la fragmentación (chunking). Si divides el texto de forma deficiente, el modelo pierde el contexto. Si tus resultados de RAG son inútiles, revisa tus metadatos y tu estrategia de fragmentación antes de culpar al modelo.
Los modelos serán mejores y más baratos. Esto no cambia el desafío de ingeniería fundamental. Debes construir sistemas que se comporten correctamente cuando no los estés vigilando.
Céntrate en la gobernanza y la observabilidad. Los ingenieros que importarán serán aquellos que construyan sistemas en los que otros puedan confiar. Esto es diseño de sistemas, no investigación de modelos.
Fuente: https://dev.to/aibughunter/what-i-learned-after-running-ai-agents-in-production-for-a-year-49n