AI হেল্প ডেস্ক: বারবার একই AI প্রশ্নের জন্য টাকা অপচয় করা কীভাবে বন্ধ করবেন
ব্যবহারকারীরা AI অ্যাপগুলোকে বারবার একই প্রশ্ন করে। প্রতিবার AI-কে প্রশ্ন করা ধীরগতির। এটি আপনার খরচও বাড়ায়।
আপনি একটি সিস্টেমের মাধ্যমে এটি সমাধান করতে পারেন যা উত্তরগুলো মনে রাখতে পারে। এটিকে একটি হেল্প ডেস্ক হিসেবে ভাবুন।
হেল্প ডেস্কটি যেভাবে কাজ করে:
The Expert (LLM) এটি GPT বা Claude-এর মতো একটি AI মডেল। এটি বুদ্ধিমান কিন্তু ধীর এবং ব্যয়বহুল। লক্ষ্য হলো শুধুমাত্র নতুন প্রশ্নের জন্য বিশেষজ্ঞের সাহায্য নেওয়া।
The Notebook (Cache) ডেস্কটি এখানে উত্তরগুলো লিখে রাখে। নোটবুক থেকে পড়া তাৎক্ষণিক এবং বিনামূল্যে। • হুবহু নোটবুক (Exact Cache): এমন উত্তর খুঁজে বের করে যা হুবহু মিলে যায়। • একই অর্থের নোটবুক (Semantic Cache): শব্দের গঠন পরিবর্তন হলেও সঠিক উত্তর খুঁজে বের করে।
The Meaning-Reader (Embedding Model) এই টুলটি একটি প্রশ্নকে একটি "অর্থের ফিঙ্গারপ্রিন্ট"-এ রূপান্তরিত করে। যদি দুটি প্রশ্নের ফিঙ্গারপ্রিন্ট একই রকম হয়, তবে তাদের অর্থ একই।
The Table of Contents (Vector Store) একটি স্মার্ট ইনডেক্স যা ডেস্কটিকে তাৎক্ষণিকভাবে সঠিক পৃষ্ঠাটি খুঁজে পেতে সাহায্য করে। এটি ছাড়া লক্ষ লক্ষ উত্তরের মধ্যে অনুসন্ধান করা অত্যন্ত ধীরগতির হবে।
The Front-Desk Clerk (Router) এই ব্যক্তিটি প্রথমে প্রশ্নটি গ্রহণ করেন। বিশেষজ্ঞকে ডাকার আগে তারা নোটবুকগুলো পরীক্ষা করেন।
The Labels (Scope/Tenant Tags) প্রতিটি উত্তরের একটি লেবেল থাকে। "Anyone" মানে উত্তরটি সবার জন্য উন্মুক্ত। "Private" মানে এটি শুধুমাত্র একজন নির্দিষ্ট ব্যবহারকারী দেখতে পারেন। এটি ব্যক্তিগত তথ্য সুরক্ষিত রাখে।
একটি প্রশ্ন ডেস্কের মাধ্যমে যেভাবে প্রবাহিত হয়:
- একটি প্রশ্ন আসে।
- ক্লার্ক দ্রুতগতির হুবহু নোটবুকটি পরীক্ষা করেন।
- যদি কোনো মিল না পাওয়া যায়, তবে ক্লার্ক ফিঙ্গারপ্রিন্ট ব্যবহার করে একই অর্থের নোটবুকটি পরীক্ষা করেন।
- যদি তখনও কোনো মিল না পাওয়া যায়, তবে একটি নতুন উত্তর লেখার জন্য বিশেষজ্ঞকে (LLM) ডাকা হয়।
- ডেস্কটি পরবর্তী সময়ের জন্য সেই উত্তরটি নোটবুকে সংরক্ষণ করে রাখে।
ফলাফল: যদি আপনার অ্যাপ ১,০০,০০০টি প্রশ্নের উত্তর দেয় এবং ক্যাশ (cache) সেগুলোর অর্ধেক ধরে ফেলে:
- আপনি আপনার AI বিলের ৫০% সাশ্রয় করবেন।
- অপেক্ষার সময় সেকেন্ড থেকে মিলিসেকেন্ডে নেমে আসবে।
- আপনার খরচ ব্যবহারকারীর সংখ্যার তুলনায় অনেক ধীরগতিতে বাড়বে।
ঐচ্ছিক লার্নিং কমিউনিটি: https://t.me/GyaanSetuAi