एजेंट लूप लागत: आपके प्रति-कॉल कोटेशन का 11 गुना

अधिकांश टीमें AI एजेंटों के लिए बजट बनाते समय केवल एक सिंगल कॉल की लागत को देखती हैं। वे प्रति मिलियन टोकन की कीमत देखते हैं और एक एक्शन की लागत का अनुमान लगाते हैं। यह दृष्टिकोण गलत है।

एक एजेंट लूप की लागत एक सिंगल कॉल के बराबर नहीं होती है। इसकी लागत कहीं अधिक होती है।

इसका कारण सरल है। हर बार जब एक एजेंट टूल कॉल करता है, तो वह पूरा कॉन्टेक्स्ट (context) फिर से भेजता है। आप सिस्टम प्रॉम्प्ट के लिए फिर से भुगतान करते हैं। आप हर टूल डिस्क्रिप्शन के लिए फिर से भुगतान करते हैं। आप बातचीत के पूरे इतिहास के लिए फिर से भुगतान करते हैं।

जैसे-जैसे लूप आगे बढ़ता है, पेलोड (payload) बढ़ता जाता है। लागत तेजी से (quadratically) बढ़ती है। आप केवल एक सिंगल कॉल के लिए भुगतान नहीं कर रहे होते हैं। आप एक बढ़ते हुए कर्व (curve) के नीचे के क्षेत्र के लिए भुगतान कर रहे होते हैं।

मैंने इसे मापने के लिए एक टूल बनाया है। यह loop_forecast.py नामक 40 लाइनों की एक Python स्क्रिप्ट है। यह ऑफलाइन है, कीलेस (keyless) है, और आपके JSONL ट्रेसेस (traces) को पढ़ती है। यह आपके कोड को शिप करने से पहले आपको वास्तविक लागत बता देती है।

मेरे टेस्ट रन में, परिणाम स्पष्ट थे:

  • प्रति इन्वोकेशन (invocation) कोटेड लागत: $0.20
  • प्रति टास्क मापी गई प्रभावी लागत: $2.26
  • अंतर: 11.29x

यदि आपका लूप छोटा और सरल है, तो टूल एक छोटा अंतर दिखाएगा। यदि आपका लूप भारी है, तो यह एक बहुत बड़ा अंतर दिखाएगा। आप इसे CI गेट के रूप में उपयोग कर सकते हैं। यदि लागत का अंतर बहुत अधिक है, तो बिल्ड फेल हो जाएगा।

केवल एक सिंगल इन्फरेंस (inference) के आधार पर बजट बनाना बंद करें। अपना वास्तविक नंबर जानने के लिए अपने स्वयं के ट्रेसेस का उपयोग करें।

मुख्य विशेषताएं:

  • किसी नेटवर्क एक्सेस या API कीज़ की आवश्यकता नहीं है।
  • सटीक गणना के लिए tiktoken का उपयोग करता है।
  • लागत कैसे स्केल होती है, यह दिखाने के लिए एक कर्वेचर मेट्रिक (k) प्रदान करता है।
  • विश्वसनीय CI/CD के लिए डिटरमिनिस्टिक (deterministic) आउटपुट।

गलती यूनिट के भ्रम में है। एक टास्क का मतलब एक कॉल नहीं है। एक टास्क का मतलब N कॉल है, जिनमें से प्रत्येक पर बढ़ता हुआ टैक्स (tax) लगता है।

स्रोत: https://dev.to/alex_spinov/agent-loop-cost-11x-your-per-call-quote-in-40-lines-5dfn

वैकल्पिक लर्निंग कम्युनिटी: https://t.me/GyaanSetuAi