Los agentes de IA tienen un problema de fiabilidad
Los agentes de IA están pasando de ser software que responde a ser software que actúa. Llaman a APIs, mueven dinero y actualizan bases de datos.
Pero existe una brecha enorme entre la inteligencia y la fiabilidad.
Nos centramos en mejores modelos y mejores técnicas de prompting. Ignoramos la infraestructura. Este desajuste provoca fallos en el mundo real.
Imagina que un agente procesa un reembolso. Llama a la API de pagos. La API tiene éxito. Entonces, ocurre una caída del servidor antes de que el agente registre el éxito. El sistema reintenta la tarea. El agente vuelve a llamar a la API. El cliente recibe un reembolso doble.
Nadie escribió un error de código. El modelo razonó correctamente. La API funcionó. El fallo ocurrió porque la infraestructura es incompleta.
La mayoría de los agentes funcionan bien en las demostraciones. Las demos se ejecutan en un único proceso. Ejecutan una tarea a la vez. No se enfrentan a caídas ni a la concurrencia. La producción es diferente.
Cuando llevas los agentes a producción, tres cosas fallan:
• Inmortalidad del proceso: Los agentes asumen que el proceso nunca muere. En realidad, los hosts fallan y se realizan despliegues. Cuando un proceso muere, el estado en memoria desaparece. • Llamadas a herramientas puras: Los desarrolladores tratan las llamadas a herramientas como simples lecturas. Pero los agentes realizan efectos secundarios. Mover dinero o enviar correos electrónicos no se puede deshacer fácilmente. • Ejecución exactamente una vez (Exactly-once Execution): Los reintentos son necesarios para la fiabilidad. Pero reintentar un bucle en memoria sin un registro (log) duradero crea acciones duplicadas.
Este no es un problema de prompting. Es un problema de sistemas distribuidos. Para solucionar esto, necesitamos una ejecución duradera (durable execution).
Los agentes fiables necesitan estos cinco pilares:
- Event Sourcing: Almacena un registro inmutable de cada acción. El registro es la fuente de verdad, no el estado en memoria.
- Ejecución reproducible (Replayable Execution): Utiliza el registro para reconstruir el estado tras una caída. Reproduce los pasos completados en lugar de volver a ejecutarlos.
- Colas duraderas (Durable Queues): Traslada el trabajo de la memoria a almacenes persistentes.
- Claves de idempotencia (Idempotency Keys): Garantizan que realizar una acción dos veces tenga el mismo efecto que realizarla una sola vez. Esto evita los pagos dobles.
- Patrones de compensación (Compensation Patterns): Define acciones para deshacer pasos si un flujo de trabajo de varios pasos falla a mitad de camino.
Un mejor modelo produce mejores decisiones. Pero un mejor modelo no puede solucionar una caída del sistema. La fiabilidad es una propiedad de la ejecución, no una propiedad de las decisiones.
Los agentes en los que podrás confiar para actuar sin supervisión humana no serán simplemente los más inteligentes. Serán aquellos que se ejecuten sobre una infraestructura fiable.
La inteligencia decide qué hacer. La infraestructura garantiza que realmente se haga correctamente.
Fuente: https://dev.to/code_with_mwai/ai-agents-have-a-reliability-problem-nobody-is-talking-about-j40
Comunidad de aprendizaje opcional: https://t.me/GyaanSetuAi