Amazon Bedrock AgentCore Web Search: 7 गलतियाँ जो प्रोडक्शन एजेंट्स को बर्बाद कर देती हैं

2024 में अधिकांश AI टीमों ने एक गलती की। उन्होंने ऐसे RAG पाइपलाइन बनाए जो स्टैटिक डेटा पर निर्भर करते हैं।

एक स्टैटिक RAG पाइपलाइन इंटरनेट की एक तस्वीर की तरह है। इसे लेते ही यह पुरानी हो जाती है। AWS ने Amazon Bedrock AgentCore पर Web Search के साथ इसे बदल दिया है।

यह टूल आपके एजेंट्स को बिना किसी सर्च इंफ्रास्ट्रक्चर को बनाए लाइव डेटा का उपयोग करने की अनुमति देता है। हालाँकि, कई टीमें डिप्लॉयमेंट के दौरान विफल हो जाती हैं।

यहाँ वे 7 गलतियाँ दी गई हैं जिनसे आपको बचना चाहिए:

  • RAG के विकल्प के रूप में वेब सर्च का उपयोग करना। वेब सर्च वर्तमान घटनाओं और कीमतों के लिए है। RAG आपकी कंपनी के आंतरिक दस्तावेज़ों के लिए है। प्रत्येक क्वेरी के लिए सही रास्ता चुनने के लिए एक राउटर का उपयोग करें।

  • यह मान लेना कि Bedrock Guardrails वेब सर्च को कवर करते हैं। वे ऐसा नहीं करते हैं। वेब सर्च एक अलग रास्ता है। आपको domain allowlists और PII scrubbing जैसे AgentCore पॉलिसी कंट्रोल खुद सेट करने होंगे।

  • मल्टी-एजेंट सिस्टम में अनावश्यक (redundant) सर्च चलाना। AutoGen जैसे फ्रेमवर्क में, हर सब-एजेंट अलग से सर्च कॉल कर सकता है। इससे आपकी लागत 4x से 8x तक बढ़ जाती है। इसके बजाय एक साझा (shared) सर्च मेमोरी का उपयोग करें।

  • Frozen Knowledge Trap को नज़रअंदाज़ करना। जब आपका मॉडल पुराने उत्तर दे, तो उसे दोष न दें। समस्या संभवतः आपके डेटा आर्किटेक्चर में है। यदि उत्तर हर हफ्ते बदलता है, तो आपको लाइव सर्च की आवश्यकता है।

  • Observability को छोड़ देना। यदि आपका एजेंट हैलुसिनेट (hallucinate) करता है, तो आपको जानना होगा कि क्यों। क्या यह एक खराब सर्च रिजल्ट था या मॉडल की गलती? हर स्टेप को ट्रेस करने के लिए Langfuse का उपयोग करें।

  • विशिष्ट एंडपॉइंट्स के लिए हार्डकोडिंग करना। AWS इन टूल्स को अपडेट करता रहेगा। MCP-compatible टूल डिस्क्रिप्टर्स का उपयोग करें ताकि आप आसानी से प्रोवाइडर्स को बदल सकें।

  • Prompt injection के लिए टेस्ट करने में विफल रहना। एक ज़हरीला (poisoned) वेबपेज आपके एजेंट को हाईजैक कर सकता है। लाइव होने से पहले अपने एजेंट को ज्ञात इंजेक्शन पेलोड्स के साथ टेस्ट करें।

प्रोडक्शन-रेडी एजेंट कैसे बनाएं:

  1. क्वेरी के इरादे (intent) को वर्गीकृत करें।
  2. RAG, वेब सर्च, या मेमोरी की ओर रूट करें।
  3. वेब परिणामों को पॉलिसी फ़िल्टर के माध्यम से गुज़ारें।
  4. कॉन्टेक्स्ट को इकट्ठा करें और मॉडल को कॉल करें।

स्टैटिक सिस्टम बनाना बंद करें। लाइव, ग्राउंडेड एजेंट्स की ओर बढ़ें।

Source: https://dev.to/aarhamforensics_eb3c024eb/amazon-bedrock-agentcore-web-search-7-mistakes-that-kill-production-agents-2dkn

Optional learning community: https://t.me/GyaanSetuAi