AI एजेंट्स को सर्किट ब्रेकर्स (Circuit Breakers) की आवश्यकता है

लोग AI रीजनिंग (reasoning), प्लानिंग (planning) और मेमोरी (memory) के बारे में बात करते हैं।

वे शायद ही कभी इस बारे में बात करते हैं कि जब कोई एजेंट विफल हो जाता है तो क्या होता है।

मैंने स्वायत्त वर्कफ़्लो (autonomous workflows) का परीक्षण करते समय इस बात पर गौर किया। एजेंट क्रैश नहीं हुआ। उसने कोई एरर (error) भी नहीं दिखाया।

उसने बस और अधिक प्रयास करने की कोशिश की।

एक टूल कॉल (tool call) विफल रहा। एजेंट ने पुन: प्रयास किया। वह भी विफल रहा। उसने एक नई योजना बनाई। उसने और अधिक टूल्स को कॉल किया। वह एक अंतहीन चक्र (spiraling) में फंसा रहा।

बाहर से यह उत्पादक लग रहा था। लेकिन अंदर से यह एक लूप (loop) में फंसा हुआ था।

डिस्ट्रिब्यूटेड सिस्टम्स (distributed systems) में, इंजीनियर सर्किट ब्रेकर्स का उपयोग करते हैं। यदि कोई सर्विस विफल हो जाती है, तो आप रिक्वेस्ट भेजना बंद कर देते हैं। आप सिस्टम के बाकी हिस्से की रक्षा करते हैं।

AI एजेंट्स को भी इसकी आवश्यकता है।

एक स्वायत्त एजेंट APIs को कॉल करता है, कोड डिप्लॉय करता है और टोकन खर्च करता है। बिना गार्डरेल्स (guardrails) के, एक छोटी सी गलती महंगी साबित हो सकती है।

कल्पना कीजिए कि एक एजेंट किसी एप्लिकेशन को डिप्लॉय कर रहा है। डिप्लॉयमेंट विफल हो जाता है। एजेंट पुन: प्रयास करता है। वह फिर से विफल हो जाता है। वह एक सेटिंग बदलता है और पुन: प्रयास करता है। हर अगला कदम गलती को और बदतर बना देता है।

मॉडल समस्या नहीं है। सीमाओं के बिना बुद्धिमत्ता (intelligence) अप्रत्याशित होती है।

एक सर्किट ब्रेकर उन सीमाओं को बनाता है। यह कर सकता है:

  • बहुत अधिक विफल प्रयासों के बाद निष्पादन (execution) को रोकना।
  • जब लागत (costs) एक सीमा तक पहुँच जाए तो वर्कफ़्लो को रोकना।
  • प्रोडक्शन (production) को छूने से पहले मानवीय अनुमोदन (human approval) मांगना।
  • जब तक आप उन्हें सत्यापित न कर लें, तब तक खतरनाक कार्यों को ब्लॉक करना।

सर्किट ब्रेकर्स स्वायत्तता (autonomy) को कम नहीं करते हैं। वे भरोसा पैदा करते हैं।

हम एजेंटों को यह सिखाने में समय बिताते हैं कि कैसे कार्य करना है। हमें उन्हें यह सिखाने में भी समय बिताना चाहिए कि कब रुकना है।

प्रोडक्शन में, आगे क्या करना है यह जानने से कहीं अधिक महत्वपूर्ण यह जानना है कि कब रुकना है।

Source: https://dev.to/mukeshkuiry/the-day-i-realized-ai-agents-need-circuit-breakers-22hj

Optional learning community: https://t.me/GyaanSetuAi