𝗪𝗵𝘆 𝗬𝗼𝘂𝗿 𝗔𝗴𝗲𝗻𝘁𝘀 𝗔𝗿𝗲 𝗕𝘂𝗿𝗻𝗶𝗻𝗴 𝗧𝗼𝗸𝗲𝗻𝘀

तुम्ही एक कोडिंग एजंट तैनात केला आहे. तो तिकीट घेतो आणि PR सबमिट करतो. तो व्यवस्थित काम करतो.

मग बिल येते.

एजंटने तुमच्या नियोजित बजेटपेक्षा जास्त पैसे खर्च केले आहेत. ते का झाले हे तुम्हाला समजत नाही. तो एका तिकीटासाठी मॉडेलला ५० वेळा कॉल करतो. काही कॉल्स हे संथ 'retries' असतात. काही कॉल्स एकाच संदर्भाचे (context) वारंवार वाचन असतात.

ही मॉडेलची समस्या नाही. ही इन्फ्रास्ट्रक्चरची समस्या आहे. तुमच्या टीमकडे खर्चाची स्पष्ट माहिती (visibility) नाही. तुमचे बजेट संपण्यापूर्वी एखादा अनियंत्रित एजंट थांबवण्याचा तुमच्याकडे कोणताही मार्ग नाही.

एजंट्स हे लूप्स (loops) असतात. ते एखादे काम वाचतात, टूल कॉल करतात, आउटपुट वाचतात आणि पुन्हा तेच करतात. प्रत्येक पायरीसाठी टोकन्स खर्च होतात. जर एखादा एजंट प्रत्येक वेळी सिस्टिम प्रॉम्प्ट पुन्हा वाचत असेल, तर खर्च वेगाने वाढतो. एका लहान चुकीमुळे (bug) शेकडो अतिरिक्त वाचन (reads) होऊ शकतात.

तुम्हाला फक्त बिल दिसते, कॉल्स नाही. आणि तेव्हा खूप उशीर झालेला असतो.

यशस्वी टीम्स पहिल्या दिवसापासून खर्चावर नियंत्रण ठेवण्यासाठी उपाययोजना करतात. ते या पद्धती वापरतात:

प्रोडक्शनमध्ये एजंट्स चालवण्यासाठी तुम्हाला खालील गोष्टींची आवश्यकता आहे:

जर तुम्ही या गोष्टींकडे दुर्लक्ष केले, तर तुम्ही अंधारात काम करत आहात असे समजा.

LiteLLM हे टाळण्यासाठी एक विशिष्ट पॅटर्न वापरते:

जर तुम्ही या साधनांशिवाय एजंट्स तयार केले, तर तुम्हाला खर्चाच्या विस्फोटाचा (cost explosion) सामना करावा लागेल. जोपर्यंत एजंट एखाद्या edge case किंवा loop मध्ये अडकत नाही, तोपर्यंत तो व्यवस्थित काम करतो. पण तोपर्यंत पैसे संपलेले असतात.

आता या पायऱ्या उचला:

अशी इन्फ्रास्ट्रक्चर तयार करा जी विश्वासार्ह एजंट्सना महागड्या चुकांपासून वेगळे करते.

Source: https://dev.to/paultwist/why-your-agents-are-silently-burning-tokens-and-how-to-stop-them-7g8

Optional learning community: https://t.me/GyaanSetuAi