AI এজেন্টদের জন্য একটি সার্ভারলেস ওয়েব সার্চ সার্ভিস তৈরি করা
AI এজেন্টদের বর্তমান তথ্য খুঁজে পেতে ওয়েব সার্চের প্রয়োজন হয়।
যখন অনেক টিম এজেন্ট তৈরি করে, তারা প্রায়ই ভিন্ন ভিন্ন সার্চ প্রোভাইডার ব্যবহার করে। এটি একটি বিশৃঙ্খলা তৈরি করে। এর ফলে আপনি বিভিন্ন API, ভিন্ন ভিন্ন খরচ এবং বিচ্ছিন্ন টুলের সম্মুখীন হন।
PostNL-এ, আমরা AWS-এর ওপর একটি কেন্দ্রীয় সার্চ সার্ভিস তৈরি করে এই সমস্যার সমাধান করেছি।
আমরা এমন একটি সিস্টেম তৈরি করেছি যা এভাবে কাজ করে:
• সকল টিমের জন্য একটি একক ইন্টারফেস। • অনেক সার্চ ব্যাকএন্ডের জন্য সাপোর্ট। • কম অপারেশনাল কাজ। • কম খরচ। • কোনো কিছু ভেঙে না ফেলে প্রোভাইডার পরিবর্তন করার ক্ষমতা।
আমাদের আর্কিটেকচারে একটি রাউটিং লেয়ার ব্যবহার করা হয়েছে। এই লেয়ারটি আপনার AI অ্যাপ্লিকেশন এবং সার্চ প্রোভাইডারের মাঝে অবস্থান করে।
সিস্টেমের মূল অংশগুলো:
- API Gateway: অনুমোদিত ব্যবহারকারীদের জন্য একটি প্রাইভেট এন্ট্রি পয়েন্ট প্রদান করে।
- AWS Lambda: Go ভাষায় লেখা একটি লাইটওয়েট রাউটার চালায়।
- ECS Fargate: SearXNG ব্যবহার করে আমাদের প্রাথমিক সার্চ ব্যাকএন্ড হোস্ট করে।
আমরা রাউটারের জন্য Go বেছে নিয়েছি কারণ এটি দ্রুত এবং খুব কম মেমরি ব্যবহার করে। এটি একটি ছোট Lambda ফাংশন হিসেবে নিখুঁতভাবে কাজ করে। ব্যবহারের পরিমাণ বাড়ার সাথে সাথে এই সেটআপটি স্বয়ংক্রিয়ভাবে স্কেল (scale) হয়।
আমরা একটি হেক্সাগোনাল আর্কিটেকচারও ব্যবহার করেছি। এর মানে হলো কোর লজিকটি আপনি কোন সার্চ ইঞ্জিন ব্যবহার করছেন তা নিয়ে মাথা ঘামায় না। আজ আমরা SearXNG ব্যবহার করছি। আগামীকাল আমরা কেবল একটি নতুন অ্যাডাপ্টার যোগ করার মাধ্যমে একটি কমার্শিয়াল প্রোভাইডারে সুইচ করতে পারি। ব্যবহারকারীরা কখনোই এই পরিবর্তনটি টের পাবেন না।
লক্ষ্যটি সহজ। আমরা সার্চ ডেটা প্রদান করি। AI এজেন্ট রিজনিং (reasoning) এবং উত্তর দেওয়ার কাজ পরিচালনা করে।
এই সার্ভিসটিকে কেন্দ্রীয় করার মাধ্যমে, টিমগুলো সার্চ API নিয়ে চিন্তা করা বন্ধ করে আরও উন্নত AI সমাধান তৈরির দিকে মনোনিবেশ করতে পারে।
ঐচ্ছিক লার্নিং কমিউনিটি: https://t.me/GyaanSetuAi