𝗖𝗼𝘀𝘁𝗲 𝗱𝗲𝗹 𝗯𝘂𝗰𝗹𝗲 𝗱𝗲 𝗮𝗴𝗲𝗻𝘁𝗲𝘀: 𝟭𝟭 𝘃𝗲𝗰𝗲𝘀 𝘁𝘂 𝗽𝗿𝗲𝘀𝘂𝗽𝘂𝗲𝘀𝘁𝗼 𝗽𝗼𝗿 𝗹𝗹𝗮𝗺𝗮𝗱𝗮
La mayoría de los equipos presupuestan para agentes de IA fijándose en el coste de una sola llamada. Ven un precio por millón de tokens y estiman el coste de una acción. Este enfoque es erróneo.
Un bucle de agentes no cuesta lo mismo que una sola llamada. Cuesta mucho más.
La razón es sencilla. Cada vez que un agente realiza una llamada a una herramienta (tool call), vuelve a enviar todo el contexto. Pagas de nuevo por el system prompt. Pagas de nuevo por cada descripción de herramienta. Pagas de nuevo por todo el historial de la conversación.
A medida que el bucle continúa, la carga útil (payload) crece. El coste crece de forma cuadrática. No pagas por una sola llamada. Pagas por el área bajo una curva ascendente.
He creado una herramienta para medir esto. Es un script de Python de 40 líneas llamado loop_forecast.py. Funciona sin conexión, no requiere claves y lee tus trazas JSONL. Te indica el coste real antes de que lances tu código.
En mi prueba, los resultados fueron claros:
- Coste presupuestado por invocación: $0.20
- Coste efectivo medido por tarea: $2.26
- La brecha: 11.29x
Si tu bucle es corto y sencillo, la herramienta mostrará una brecha pequeña. Si tu bucle es pesado, mostrará un desfase masivo. Puedes usar esto como una puerta de control de CI (CI gate). Si la brecha de coste es demasiado alta, la compilación falla.
Deja de presupuestar basándote en una sola inferencia. Utiliza tus propias trazas para encontrar tu cifra real.
Características principales:
- No requiere acceso a la red ni claves de API.
- Utiliza
tiktokenpara conteos precisos. - Proporciona una métrica de curvatura (k) para mostrar cómo escalan los costes.
- Salida determinista para un CI/CD fiable.
El error es la confusión de unidades. Una tarea no es una llamada. Una tarea son N llamadas, cada una con un impuesto creciente.
Source: https://dev.to/alex_spinov/agent-loop-cost-11x-your-per-call-quote-in-40-lines-5dfn
Optional learning community: https://t.me/GyaanSetuAi