𝗔𝗺𝗮𝘇𝗼𝗻 𝗕𝗲𝗱𝗿𝗼𝗰𝗸 𝗔𝗴𝗲𝗻𝘁𝗖𝗼𝗿𝗲 𝗪𝗲𝗯 𝗦𝗲𝗮𝗿𝗰𝗵: 𝗧𝗵𝗲 𝗣𝗿𝗼𝗱𝘂𝗰𝘁𝗶𝗼𝗻 𝗚𝘂𝗶𝗱𝗲

आपका AI एजेंट इसलिए भ्रमित (hallucinate) नहीं हो रहा है क्योंकि आपका मॉडल खराब है। यह इसलिए भ्रमित हो रहा है क्योंकि आपका आर्किटेक्चर समय में जम गया है (frozen in time)।

अधिकांश RAG पाइपलाइन पुराने डेटा के लिए महंगे पैच (band-aids) की तरह हैं। AWS अब एक समाधान प्रदान करता है: Amazon Bedrock AgentCore पर Web Search। यह एक प्रबंधित (managed) टूल है जो आपके एजेंटों को लाइव वेब एक्सेस देता है।

यह क्यों महत्वपूर्ण है:

एक LLM क्या जानता है और उपयोगकर्ता क्या पूछते हैं, इसके बीच का अंतर हर दिन बढ़ता जा रहा है। यह अंतर एजेंटों को लायबिलिटी मशीनों (liability machines) में बदल देता है।

AgentCore Web Search के साथ आपको क्या मिलता है:

  • लाइव वेब परिणामों तक स्ट्रक्चर्ड एक्सेस।
  • किसी कस्टम क्रॉलर की आवश्यकता नहीं।
  • किसी तीसरे पक्ष (third-party) के सर्च API कॉन्ट्रैक्ट की आवश्यकता नहीं।
  • कोई अलग बिलिंग नहीं।
  • क्रॉलिंग, रैंकिंग और बिलिंग के लिए सिंगल SDK कॉल।

'नॉलेज फ्रीज टैक्स' (Knowledge Freeze Tax) देना बंद करें। यह पुराने डेटा का उपयोग करने की लागत है। यह गलत उत्तरों, बर्बाद हुए इंजीनियरिंग घंटों और हाई लेटेंसी (high latency) के रूप में सामने आता है।

प्रोडक्शन-ग्रेड पाइपलाइन कैसे बनाएं:

  1. इंटेंट क्लासिफिकेशन (Intent Classification): यह तय करने के लिए एक राउटर का उपयोग करें कि क्या किसी क्वेरी को लाइव वेब, इंटरनल RAG, या स्ट्रक्चर्ड डेटा की आवश्यकता है। हर क्वेरी पर वेब सर्च न चलाएं, अन्यथा आपका बजट खत्म हो जाएगा।

  2. वेब सर्च इनवोकेशन (Web Search Invocation): टूल टाइटल, URLs, स्निपेट्स और टाइमस्टैम्प लौटाता है।

  3. रिजल्ट सिंथेसिस (Result Synthesis): स्निपेट्स और टाइमस्टैम्प को मॉडल में इंजेक्ट करें। आपको टाइमस्टैम्प शामिल करना चाहिए ताकि मॉडल को पता चल सके कि कोई स्रोत पुराना है या नहीं।

  4. ऑब्जर्वेबिलिटी (Observability): यह ट्रैक करने के लिए Langfuse का उपयोग करें कि किन वेब परिणामों ने आपके उत्तरों को प्रभावित किया। एंटरप्राइज कंप्लायंस के लिए यह महत्वपूर्ण है।

मुख्य तकनीकी सुझाव:

  • त्वरित तथ्यों के लिए Web Search का उपयोग करें।
  • ब्राउज़र टूल का उपयोग केवल जटिल JavaScript पेजों या लॉगिन वॉल के लिए करें। साधारण लुकअप के लिए ब्राउज़र टूल का उपयोग करने से 3 से 8 सेकंड की लेटेंसी बढ़ जाती है।
  • अपनी IAM अनुमतियों (permissions) की जांच करें। सुनिश्चित करें कि आपके पास bedrock-agentcore:InvokeWebSearch अनुमति है।
  • हाइब्रिड दृष्टिकोण अपनाएं। बाहरी डेटा के लिए Web Search और अपने आंतरिक, निजी दस्तावेज़ों के लिए RAG का उपयोग करें।

लक्ष्य वेब सर्च का सबसे अधिक उपयोग करना नहीं है। लक्ष्य एक ऐसा स्मार्ट राउटर बनाना है जो इसका उपयोग केवल तभी करे जब आवश्यक हो।

Source: https://dev.to/aarhamforensics_eb3c024eb/amazon-bedrock-agentcore-web-search-the-complete-production-guide-1jep

Optional learning community: https://t.me/GyaanSetuAi