प्रोडक्शन एजंट लूप तयार करणे

डेमो एजंट तयार करणे सोपे आहे. प्रोडक्शन एजंट तयार करणे कठीण आहे.

डेमोमध्ये, लूप साधे असते: निरीक्षण करा, निर्णय घ्या, कृती करा, तपासा आणि पुन्हा करा. मॉडेल निकाल पाहते आणि पुढच्या पायरीकडे जाते.

प्रोडक्शनमध्ये, त्याच लूपला कडक नियमांची आवश्यकता असते. प्रोडक्शन एजंट म्हणजे केवळ एक मॉडेल आणि काही टूल्स नसतात. ते प्रामाणिक राहण्यासाठी संरचनेत गुंफलेले एक लूप असते.

सर्वात मोठा सापळा म्हणजे टूल्सच्या प्रतिसादांवर (responses) विश्वास ठेवणे.

कल्पना करा की एका एजंटला ऑर्डर रद्द करायची आहे आणि रिफंड द्यायचा आहे.

डेमोमध्ये हे काम करते. प्रोडक्शनमध्ये, हे एक संकट ठरू शकते.

200 OK चा अर्थ अनेकदा असा असतो की विनंती स्वीकारली गेली आहे, याचा अर्थ असा नाही की काम पूर्ण झाले आहे. कॅन्सलेशन (रद्द करण्याची प्रक्रिया) अजूनही क्यू (queue) मध्ये प्रलंबित असू शकते. जर एजंटने कॅन्सलेशनची खात्री झाल्याशिवाय रिफंड दिला, तर तुम्ही केवळ गृहितकावर आधारित पैसे हस्तांतरित करता.

तुम्ही एक नियम पाळला पाहिजे: टूलचा प्रतिसाद विनंतीचे वर्णन करतो, जगाच्या (सध्याच्या स्थितीच्या) स्थितीचे नाही.

सुरक्षित प्रोडक्शन लूप तयार करण्यासाठी, तुम्हाला या घटकांची आवश्यकता आहे:

• टूल कॉन्ट्रॅक्ट्स (Tool Contracts): प्रत्येक टूलने त्याचे इनपुट, आउटपुट, फेल्युअर मोड्स (failure modes) आणि आयडेम्पोटन्सी की (idempotency key) परिभाषित केली पाहिजे. • व्हेरिफिकेशन गेट्स (Verification Gates): टूलने सक्सेस कोड परत केला आहे की नाही हेच तपासू नका. बदल झाला आहे की नाही याची खात्री करण्यासाठी जगाची (system state) प्रत्यक्ष स्थिती पुन्हा तपासा. • वर्किंग स्टेट (Working State): तथ्ये (facts) चॅट हिस्ट्रीपासून वेगळी ठेवा. यामुळे एजंट संभाषणाच्या मजकुराच्या आधारे चुकीची माहिती (hallucinating) देण्यापासून वाचतो. • अप्रूव्हल गेट्स (Approval Gates): उच्च-जोखीम असलेल्या कृतींसाठी मानवी संमती (sign off) घ्या. • स्टॉप रूल्स (Stop Rules): अनियंत्रित लूप्स रोखण्यासाठी स्टेप्स, खर्च, वेळ आणि शांततेवर (silence) मर्यादा सेट करा.

लूपची संरचना बदलत नाही. अंमलबजावणी अधिक कडक होते.

महत्त्वाच्या कृतींसाठी, तुमच्या "चेक" (check) पायरीमध्ये दोन भाग असणे आवश्यक आहे:

  1. व्हेरिफाय (Verify): जग (system state) खरोखर अपेक्षेप्रमाणे बदलले का?
  2. कमिट (Commit): आता एकदा खात्री झाली की, पुढच्या पायरीकडे जाणे सुरक्षित आहे का?

सर्वात सुरक्षित एजंट तो असतो ज्याच्यावर सर्वाधिक मर्यादा असतात. विश्वासार्हता मॉडेलला अधिक स्वातंत्र्य देण्यापासून नाही, तर त्याच्याभोवती स्पष्ट मर्यादा घालण्यापासून येते.

Source: https://dev.to/gursharansingh/ai-agents-in-practice-part-6-building-the-production-agent-loop-2lfi

Optional learning community: https://t.me/GyaanSetuAi