El coste de los agentes de IA es una señal de runtime
Deja de tratar los costes de los agentes de IA como una factura mensual de servicios públicos.
Una factura mensual es un dato financiero. Te dice cuánto gastaste después de que el dinero se ha ido. Ingeniería es responsable del comportamiento del agente. Si quieres controlar los costes, debes tratar el gasto como una señal de runtime.
Un agente de IA no gasta dinero como un servicio de tarifa plana. Gasta dinero a través de:
- Selección de modelos para tareas específicas.
- Gestión del contexto de trabajos anteriores.
- Llamadas a herramientas y bucles de subagentes.
- Ciclos de reintento y reevaluaciones.
Una sola tarea costosa puede arruinar un presupuesto mensual. Un simple límite por hora podría impedir que una tarea barata y valiosa termine. No puedes gestionar esto con una hoja de cálculo.
Debes trasladar el control de costes al harness.
El harness es donde controlas las rutas de los modelos, los reintentos y el uso de herramientas. La política de costes pertenece aquí porque el harness entiende la arquitectura del gasto.
Deja de centrarte solo en el recuento de tokens. Reducir tokens es inútil si la respuesta es incorrecta. En su lugar, céntrate en el coste por resultado. • Coste por pull request fusionado. • Coste por ticket de soporte resuelto. • Coste por flujo de trabajo exitoso.
Un flujo de trabajo de cinco dólares que soluciona un problema es mejor que uno de cincuenta centavos que genera trabajo basura para los humanos.
Un control de costes eficaz se parece al trabajo de fiabilidad. Requiere los mismos responsables, las mismas trazas y la misma disciplina.
No esperes a la factura. Coloca los datos de coste junto a tus trazas y evaluaciones. Trata una traza costosa como un informe de error con un signo de dólar adjunto.
Si quieres controlar el gasto, controla el runtime.
Fuente: https://dev.to/focused_dot_io/ai-agent-cost-is-a-runtime-signal-focused-labs-5772
Comunidad de aprendizaje opcional: https://t.me/GyaanSetuAi