কেন AI-এর জন্য বড় Context Window-এর চেয়ে State Management বেশি প্রয়োজন

নতুন মডেলগুলো বিশাল context window নিয়ে লঞ্চ হচ্ছে। ধারণাটি সহজ। একটি রিকোয়েস্টেই বেশি ডেটা থাকলে সব সমস্যার সমাধান হয়ে যাবে।

আপনি আরও বেশি ডকুমেন্ট যোগ করেন। আরও বেশি হিস্ট্রি যোগ করেন। আরও বেশি workflow ডেটা যোগ করেন।

কিন্তু প্রোডাকশনে AI চালানোর পর আমরা একটি শিক্ষা পেয়েছি। Context window সাহায্য করে ঠিকই, কিন্তু State management বেশি গুরুত্বপূর্ণ।

যখন AI খারাপ ফলাফল দেয়, তখন টিমগুলো প্রায়ই প্রম্পটে আরও বেশি তথ্য যোগ করে। তারা মনে করে মডেলটির আরও বেশি হিস্ট্রি বা আরও বেশি বিজনেস কনটেক্সট প্রয়োজন। ফলে প্রম্পটটি ক্রমাগত বড় হতে থাকে।

বেশি তথ্য মানেই ভালো সিদ্ধান্ত নয়। এটি প্রায়ই উল্টো ফল দেয়। বড় context window খারাপ আর্কিটেকচারকে আড়াল করে রাখে। প্রাসঙ্গিক ডেটা বেছে নেওয়ার পরিবর্তে, সিস্টেম সবকিছুই অন্তর্ভুক্ত করে ফেলে।

এটি বেশ কিছু সমস্যা তৈরি করে:

মডেলের কাছে তথ্য বেশি থাকে কিন্তু স্পষ্টতা কম থাকে।

আপনাকে context এবং state-এর মধ্যে পার্থক্য বুঝতে হবে। Context হলো একটি একক রিকোয়েস্টের সময় উপলব্ধ তথ্য। State হলো সেই তথ্য যা সিস্টেম সময়ের সাথে সাথে জানে।

State-এর উদাহরণ:

এগুলো প্রতিটি প্রম্পটের ভেতরে রাখার প্রয়োজন নেই। ডিস্ট্রিবিউটেড সিস্টেমগুলো সব ডেটা সব জায়গায় পাঠিয়ে জটিলতা সমাধান করে না। তারা state ম্যানেজ করার জন্য ডেটাবেস, ক্যাশ (cache) এবং কিউ (queue) ব্যবহার করে।

AI সিস্টেমগুলো প্রায়ই এই শৃঙ্খলা মেনে চলে না। তারা context window-কে একটি অস্থায়ী ডেটাবেস হিসেবে ব্যবহার করে। এটি একটি আর্কিটেকচারাল আলস্য।

"আমরা কি সবকিছু এতে জায়গা করতে পারি?"—এই প্রশ্ন করা বন্ধ করুন। বরং জিজ্ঞেস করুন, "কোন তথ্যটি প্রয়োজন?"

আমরা context size না বাড়িয়ে state management উন্নত করার মাধ্যমে আরও ভালো ফলাফল দেখেছি। আমরা এটি করেছি এভাবে:

এর ফলে খরচ কমেছে এবং এক্সিকিউশন দ্রুত হয়েছে। এর জন্য বড় মডেলের প্রয়োজন হয়নি। প্রয়োজন ছিল উন্নত ডিজাইনের।

লক্ষ্য মডেলকে সবকিছুতে অ্যাক্সেস দেওয়া নয়। লক্ষ্য হলো সঠিক সময়ে মডেলকে সঠিক তথ্য প্রদান করা।

Source: https://dev.to/karan2598/why-ai-systems-need-state-management-more-than-bigger-context-windows-2a4m

ঐচ্ছিক লার্নিং কমিউনিটি: https://t.me/GyaanSetuAi