𝗔𝗺𝗮𝘇𝗼𝗻 𝗕𝗲𝗱𝗿𝗼𝗰𝗸 𝗔𝗴𝗲𝗻𝘁𝗖𝗼𝗿𝗲 𝗪𝗲𝗯 𝗦𝗲𝗮𝗿𝗰𝗵: 𝗧𝗵𝗲 𝗣𝗿𝗼𝗱𝘂𝗰𝘁𝗶𝗼𝗻 𝗚𝘂𝗶𝗱𝗲

तुमचा AI agent तुमच्या मॉडेलमध्ये दोष असल्यामुळे 'hallucinate' (चुकीची माहिती देणे) करत नाहीये. तो 'hallucinate' करत आहे कारण तुमची आर्किटेक्चर (architecture) जुन्या काळात अडकलेली आहे.

बहुतेक RAG pipelines हे जुन्या (stale) डेटासाठी महागडे तात्पुरते उपाय (band-aids) आहेत. AWS आता एक उपाय देत आहे: Amazon Bedrock AgentCore वरील Web Search. हे एक मॅनेज्ड टूल आहे जे तुमच्या एजंट्सना थेट वेब ॲक्सेस देते.

हे महत्त्वाचे का आहे:

LLM ला काय माहित आहे आणि वापरकर्ते काय विचारतात यातील अंतर दररोज वाढत आहे. हे अंतर एजंट्सना 'liability machines' (जबाबदारी वाढवणारी यंत्रे) बनवते.

AgentCore Web Search सह तुम्हाला काय मिळते:

  • थेट वेब रिझल्ट्सचा स्ट्रक्चर्ड ॲक्सेस.
  • कोणत्याही कस्टम क्रॉलर्सची (crawlers) गरज नाही.
  • कोणत्याही थर्ड-पार्टी सर्च API करारांची गरज नाही.
  • वेगळे बिलिंग नाही.
  • क्रॉलिंग, रँकिंग आणि बिलिंगसाठी एकच SDK कॉल.

'Knowledge Freeze Tax' भरणे थांबवा. हा जुना डेटा वापरण्याचा खर्च आहे. हे चुकीची उत्तरे, वाया गेलेले इंजिनिअरिंग तास आणि उच्च लॅटन्सी (latency) म्हणून दिसून येते.

Production-grade pipeline कशी तयार करावी:

  1. Intent Classification: एखादी क्वेरी थेट वेब, अंतर्गत RAG किंवा स्ट्रक्चर्ड डेटाची गरज आहे की नाही हे ठरवण्यासाठी राउटरचा (router) वापर करा. प्रत्येक क्वेरीवर वेब सर्च चालवू नका, अन्यथा तुमचा बजेट संपून जाईल.

  2. Web Search Invocation: हे टूल टायटल्स, URLs, स्निपेट्स (snippets) आणि टाइमस्टॅम्प्स (timestamps) परत करते.

  3. Result Synthesis: स्निपेट्स आणि टाइमस्टॅम्प्स मॉडेलमध्ये समाविष्ट करा. मॉडेलला एखादा स्रोत जुना आहे की नाही हे समजण्यासाठी तुम्ही टाइमस्टॅम्प्स समाविष्ट करणे आवश्यक आहे.

  4. Observability: कोणत्या वेब रिझल्ट्सचा तुमच्या उत्तरांवर प्रभाव पडला याचा मागोवा घेण्यासाठी Langfuse वापरा. एंटरप्राइझ कंप्लायन्ससाठी (enterprise compliance) हे अत्यंत महत्त्वाचे आहे.

महत्त्वाच्या तांत्रिक टिप्स:

  • जलद तथ्यांसाठी (quick facts) Web Search वापरा.
  • Browser Tool चा वापर फक्त जटिल JavaScript पेजेस किंवा लॉगिन वॉलसाठी करा. साध्या शोधांसाठी Browser Tool वापरल्याने ३ ते ८ सेकंदांचा लॅटन्सी (latency) वाढतो.
  • तुमचे IAM परवानग्या तपासा. तुमच्याकडे bedrock-agentcore:InvokeWebSearch परवानगी असल्याची खात्री करा.
  • हायब्रिड दृष्टिकोन वापरा. बाह्य डेटासाठी Web Search आणि तुमच्या अंतर्गत, खाजगी कागदपत्रांसाठी RAG वापरा.

उद्दिष्ट जास्तीत जास्त वेब सर्च वापरणे हे नाही. उद्दिष्ट असे स्मार्ट राउटर तयार करणे आहे जे केवळ आवश्यक असेल तेव्हाच त्याचा वापर करेल.

Source: https://dev.to/aarhamforensics_eb3c024eb/amazon-bedrock-agentcore-web-search-the-complete-production-guide-1jep

Optional learning community: https://t.me/GyaanSetuAi