Agent Loop Cost: तुमच्या प्रति-कॉल अंदाजापेक्षा ११ पटीने जास्त खर्च
बहुतेक टीम्स AI एजंट्ससाठी बजेट ठरवताना एका सिंगल कॉलच्या खर्चाचा विचार करतात. ते प्रति मिलियन टोकन्सची किंमत पाहतात आणि एका ॲक्शनचा खर्च अंदाजे काढतात. हा दृष्टिकोन चुकीचा आहे.
एजंट लूपचा खर्च एका सिंगल कॉलइतका नसतो. तो खूप जास्त असतो.
याचे कारण साधे आहे. जेव्हा जेव्हा एखादा एजंट टूल कॉल (tool call) करतो, तेव्हा तो संपूर्ण कॉन्टेक्स्ट (context) पुन्हा पाठवतो. तुम्हाला सिस्टम प्रॉम्प्टसाठी (system prompt) पुन्हा पैसे द्यावे लागतात. प्रत्येक टूल डिस्क्रिप्शनसाठी (tool description) पुन्हा पैसे द्यावे लागतात. संभाषणाच्या संपूर्ण इतिहासासाठी (history) पुन्हा पैसे द्यावे लागतात.
जसा लूप पुढे जातो, तसा पेलोड (payload) वाढत जातो. खर्च वर्गप्रमाणात (quadratically) वाढतो. तुम्ही एका सिंगल कॉलसाठी पैसे देत नाही, तर वाढत्या वक्राखालील क्षेत्रासाठी (area under a rising curve) पैसे देता.