𝗔𝗺𝗮𝘇𝗼𝗻 𝗕𝗲𝗱𝗿𝗼𝗰𝗸 𝗔𝗴𝗲𝗻𝘁𝗖𝗼𝗿𝗲 𝗪𝗲𝗯 𝗦𝗲𝗮𝗿𝗰𝗵: 𝟳 𝗠𝗶𝘀𝘁𝗮𝗸𝗲𝘀 𝗧𝗵𝗮𝘁 𝗕𝗿𝗲𝗮𝗸 𝗔𝗴𝗲𝗻𝘁𝘀

तुमचा AI एजंट भ्रमित (hallucinating) होत नाहीये. तो फक्त जुनी तथ्ये सांगत आहे.

बहुतेक टीम्स असे एजंट्स तयार करतात जे डेमोमध्ये काम करतात पण प्रोडक्शनमध्ये (production) अपयशी ठरतात. ते जुन्या ट्रेनिंग डेटावर किंवा खाजगी डेटा लीक करणाऱ्या थर्ड-पार्टी सर्च API वर अवलंबून असतात.

Amazon Bedrock AgentCore Web Search वेब रिट्रिव्हल (web retrieval) तुमच्या AWS मर्यादेत ठेवून ही समस्या सोडवते. हे केवळ एक टूल नसून एक इन्फ्रास्ट्रक्चर आहे.

तुमचे एजंट्स अचूक आणि सुरक्षित ठेवण्यासाठी या ७ डिप्लॉयमेंट चुका टाळा:

  • १. वेक्टर डेटाबेस बदलणे (Replacing Vector Databases) वेब सर्च तुमचा खाजगी डेटा शोधू शकत नाही. ते फक्त सार्वजनिक माहिती शोधते. अंतर्गत ज्ञानासाठी वेक्टर डेटाबेस वापरा आणि रिअल-टाइम बातम्यांसाठी AgentCore वापरा.

  • २. स्टॅटिक सोर्स सिलेक्शन (Static Source Selection) प्रत्येक क्वेरीसाठी वेब सर्च सुरू करू नका. यामुळे पैसे वाया जातात आणि लॅटन्सी (latency) वाढते. क्वेरी राउट करण्यासाठी Claude Haiku सारखा हलका क्लासिफायर वापरा. जेव्हा तुम्हाला ताजी माहिती हवी असेल तेव्हाच वेबचा वापर करा.

  • ३. सैल IAM परवानग्या (Loose IAM Permissions) मॅनेज्ड (Managed) असणे म्हणजे सुरक्षित असणे नव्हे. वाइल्डकार्ड परवानग्या वापरू नका. अनियंत्रित खर्च टाळण्यासाठी तुमचे IAM रोल्स विशिष्ट एजंट ARNs पर्यंत मर्यादित ठेवा.

  • ४. सोर्स ऑथॉरिटीकडे (Source Authority) दुर्लक्ष करणे वेब सर्च अधिकृत दस्तऐवजाऐवजी एखादा रँडम ब्लॉग शोधू शकते. डोमेन अलाऊलिस्ट (domain allowlist) तयार करण्यासाठी Bedrock Guardrails वापरा. तुमच्या एजंटला संदर्भ (citations) देण्यास भाग पाडा.

  • ५. सिक्वेन्शिअल रिट्रिव्हल (Sequential Retrieval) वेब सर्चमुळे ८००ms ते १.४ सेकंदांची लॅटन्सी वाढते. जर तुम्ही रिझनिंग (reasoning) करण्यापूर्वी सर्च पूर्ण होण्याची वाट पाहिली, तर तुमचा एजंट संथ वाटेल. डेटा समांतरपणे (in parallel) मिळवण्यासाठी async पॅटर्न वापरा.

  • ६. ड्रिफ्ट (Drift) मॉनिटर करण्यात अपयश जग बदलत असताना अचूकता कमी होते. CloudWatch मध्ये तुमचे रिट्रिव्हल सोर्सेस आणि सायटेशन डोमेन्स ट्रॅक करा. ग्राहकांपर्यंत गुणवत्ता कमी झाल्याची बातमी पोहोचण्यापूर्वीच तुमच्या मॉडेल्सची दरमहा चाचणी घ्या.

  • ७. अनबाउंडेड सर्च लूप्स (Unbounded Search Loops) मल्टी-एजंट लूप्समुळे अनंत वेब कॉल्स होऊ शकतात. यामुळे एका स्टार्टअपने एका महिन्यात $११,००० खर्च केले. Lambda बजेट वापरून प्रति सेशन वेब कॉल्सवर कडक मर्यादा सेट करा.

ध्येय एक हायब्रिड स्टॅक (hybrid stack) तयार करणे आहे: • Intent Classifier • Internal Vector DB • AgentCore Web Search • Bedrock Guardrails • Drift Monitoring

केवळ डेमोसाठी नाही, तर सहा महिन्यांनंतरच्या वापरासाठी तयार करा.

Source: https://dev.to/aarhamforensics_eb3c024eb/amazon-bedrock-agentcore-web-search-7-deployment-mistakes-that-break-production-agents-821

Optional learning community: https://t.me/GyaanSetuAi