Amazon Bedrock AgentCore Web Search: প্রোডাকশন বিল্ড গাইড
আপনার AI এজেন্ট সম্ভবত আপনার ব্যবহারকারীদের কাছে মিথ্যা বলছে।
এটি ঘটে কারণ আপনি যখন এটি রিলিজ করেন, ঠিক সেই মুহূর্ত থেকেই এর জ্ঞান পুরনো হয়ে যেতে শুরু করে। Static RAG পাইপলাইনগুলো দ্রুত কার্যকারিতা হারায়। এন্টারপ্রাইজগুলো ডেপ্লয়মেন্টের ৯০ দিনের মধ্যে নির্ভুলতার ক্ষেত্রে ২৩% পতন দেখতে পায়।
Amazon Bedrock AgentCore web search এই সমস্যার সমাধান করে। এটি এজেন্টদের ইনফারেন্স টাইমে (inference time) লাইভ URL থেকে তথ্য অনুসন্ধান করতে সাহায্য করে। এর জন্য আপনার Lambda ফাংশন বা Tavily বা SerpAPI-এর মতো থার্ড-পার্টি API কী-এর প্রয়োজন নেই।
প্রোডাকশনের জন্য আপনার যা জানা প্রয়োজন:
- Architecture: মডেলটি সিদ্ধান্ত নেয় কখন টুলটি কল করতে হবে। এটি লাইভ টেক্সট অংশ (excerpts) সংগ্রহ করে এবং সেগুলো reasoning loop-এ ফেরত পাঠায়।
- Security: আপনার সার্চের পরিধি নির্ধারণ করতে IAM ব্যবহার করুন। এজেন্টদের অনির্ভরযোগ্য উৎস থেকে তথ্য সংগ্রহ করা রোধ করতে আপনি বিশ্বস্ত ডোমেইনের একটি allowlist তৈরি করতে পারেন।
- Performance: ১.২ থেকে ২.৮ সেকেন্ড রাউন্ড-ট্রিপ ল্যাটেন্সি (latency) আশা করতে পারেন। এটি তথ্যের (facts) জন্য ব্যবহার করুন, সেকেন্ডের কম সময়ের চ্যাটের জন্য নয়।
- Cost Strategy: প্রথমে কুয়েরিগুলো ক্লাসিফাই করতে Claude Haiku ব্যবহার করুন। যদি কোনো কুয়েরির জন্য লাইভ ডেটার প্রয়োজন হয়, তবে সেটি Claude 3.5 Sonnet-এ পাঠান। এটি প্রতি সেশনের খরচ ৩৫% থেকে ৪৫% পর্যন্ত কমিয়ে দেয়।
Knowledge Decay Cliff একটি বাস্তব সমস্যা। ফিন্যান্স বা লিগ্যাল-এর মতো দ্রুত পরিবর্তনশীল সেক্টরগুলোতে, স্ট্যাটিক ডেটা ব্যবহারের ৬০ দিন পর নির্ভুলতা মারাত্মকভাবে কমে যায়।
আপনার ভেক্টর ডেটাবেস পুরোপুরি পরিবর্তন করবেন না। একটি হাইব্রিড পদ্ধতি ব্যবহার করুন: • আপনার ব্যক্তিগত ও অভ্যন্তরীণ জ্ঞানের জন্য vector RAG ব্যবহার করুন। • বাহ্যিক এবং রিয়েল-টাইম তথ্যের জন্য AgentCore web search ব্যবহার করুন।
এই সেটআপটি single-turn প্রশ্নোত্তরের জন্য প্রোডাকশন-রেডি। যদি আপনার জটিল multi-hop গবেষণার প্রয়োজন হয়, তবে এটিকে পরীক্ষামূলক হিসেবে বিবেচনা করুন।
পুরনো ডেটার ওপর ভিত্তি করে এজেন্ট তৈরি করা বন্ধ করুন। বাস্তব জগতের জন্য তৈরি করুন।
Optional learning community: https://t.me/GyaanSetuAi