𝗠𝗼𝗻𝗶𝘁𝗼𝗿𝗶𝗻𝗴 𝗔𝗜 𝗔𝗴𝗲𝗻𝘁𝘀 𝘄𝗶𝘁𝗵 𝗖𝗹𝗼𝘂𝗱𝗪𝗮𝘁𝗰𝗵

प्रत्येक एजंट कॉल डेटाबेसमध्ये लॉग करणे म्हणजे मॉनिटरिंग नाही. ते फक्त स्टोरेज आहे.

तुमचा समरायझर (summarizer) स्लो आहे की नाही हे पाहण्यासाठी जर तुम्हाला रात्री २:०० वाजता SQL क्वेरीज रन कराव्या लागत असतील, तर तुम्ही ऑब्झर्व्हेबिलिटीमध्ये (observability) अपयशी ठरला आहात. तुम्हाला डेटाबेस रो (rows) नको आहेत, तर डॅशबोर्ड्स आणि अलार्म्सची गरज आहे.

लेटन्सी (latency) किंवा क्लिष्ट कोड न वाढवता AI एजंट्सचे मॉनिटरिंग करण्याचे मी दोन मार्ग शोधले आहेत.

𝟭. फेल्युअर मोड्ससाठी (Failure Modes) Metric Filters वापरा

बजेट कॅप्स (budget caps) किंवा सर्विस थ्रॉटलिंग (service throttling) सारखे फेल्युअर मोड्स अदृश्य नसावेत. API कॉल करण्यासाठी नवीन कोड लिहू नका. त्याऐवजी, तुमचे सध्याचे लॉग्स वापरा.

जेव्हा बजेट कॅप संपते, तेव्हा तुमचा कोड एरर लॉग करतो. तुम्ही ते लॉग स्कॅन करण्यासाठी CloudWatch Metric Filter सेट करू शकता. जर पॅटर्न मॅच झाला, तर CloudWatch मेट्रिक वाढवते.

ही पद्धत स्वस्त आहे. यासाठी कोणत्याही अतिरिक्त IAM परवानग्यांची गरज नाही आणि यामुळे तुमच्या एजंटमध्ये शून्य लेटन्सी वाढते.

यासाठी वापरा:

  • मासिक खर्च मर्यादा (Monthly cost cap) गाठली असल्यास
  • Bedrock throttling एरर्स
  • सामान्य एजंट फेल्युअर

𝟮. परफॉर्मन्स डेटासाठी EMF वापरा

जर तुम्हाला लेटन्सी, टोकन वापर किंवा प्रति एजंट खर्च ट्रॅक करायचा असेल, तर Metric Filters पुरेसे नाहीत. तुम्हाला डायमेन्शन्सची (dimensions) गरज आहे.

PutMetricData वापरू नका. ती एक सिंक्रोनस (synchronous) नेटवर्क कॉल आहे. ती तुमच्या रिक्वेस्टमध्ये ३०ms ते ८०ms वाढवते. जर CloudWatch स्वतः लोडखाली असेल, तर ती फेल देखील होऊ शकते.

त्याऐवजी, Embedded Metric Format (EMF) वापरा.

तुम्ही stdout वर JSON ची एक ओळ लिहिता. CloudWatch आपोआप यातून डायमेन्शन्ससह मेट्रिक्स काढते.

एका JSON ओळीसह, तुम्हाला मिळते:

  • एकूण इन्व्होकेशन्स (Total invocations)
  • एरर रेट्स (Error rates)
  • लेटन्सी (Latency - P95)
  • इनपुट आणि आउटपुट टोकन्स (Input and output tokens)
  • प्रति मॉडेल आणि प्रति एजंट खर्च (Cost per model and per agent)

𝗧𝗵𝗲 𝗥𝘂𝗹𝗲𝘀 𝗼𝗳 𝗘𝗳𝗳𝗶𝗰𝗶𝗲𝗻𝘁 𝗢𝗯𝘀𝗲𝗿𝘃𝗮𝗯𝗶𝗹𝗶𝘁𝘆

  • एक ओळ एमिट (emit) करा आणि CloudWatch ला काम करू द्या.
  • टेलिमेट्रीमुळे (telemetry) तुमचा एजंट कधीही खंडित होऊ देऊ नका. तुमच्या मेट्रिक कॉल्सना try-except ब्लॉक्समध्ये गुंडाळा (wrap).
  • सिंगल इव्हेंटऐवजी बर्स्ट्सवर (bursts) अलार्म सेट करा. एक थ्रॉटल सामान्य आहे. पाच मिनिटांत दहा थ्रॉटल्स होणे ही एक घटना (incident) आहे.
  • विशिष्ट एजंट्ससाठी डायमेन्शन्स वापरा, परंतु सिस्टम-वाईड लेटन्सीसाठी ॲग्रीगेट्स (aggregates) वापरा.
  • एरर्स टेक्स्ट स्ट्रिंग्सने नाही, तर कोडने मॅच करा.

तुम्ही फक्त लॉग्स आणि EMF वापरून $0 मध्ये प्रोफेशनल मॉनिटरिंग स्टॅक तयार करू शकता.

Source: https://dev.to/aws-builders/monitorear-agentes-de-ia-con-cloudwatch-45c4

Optional learning community: https://t.me/GyaanSetuAi