আপনার 70B প্যারামিটার মডেল এখন আর কেউ চায় না

এআই (AI) জগত একসময় কেবল স্কেলের (scale) ওপর গুরুত্ব দিত।

মানুষ বড় মডেল, বড় কনটেক্সট উইন্ডো (context window) এবং বড় বেঞ্চমার্কের পেছনে ছুটত। আপনার মডেল যদি বিশাল না হতো, তবে আপনি প্রতিযোগিতায় টিকে থাকতে পারতেন না।

সেই যুগ শেষ হয়ে আসছে।

বিশাল মডেলগুলো চিত্তাকর্ষক। কিন্তু বেশিরভাগ মানুষের এত শক্তির প্রয়োজন হয় না। একটি গাড়ির ড্যাশবোর্ড অ্যাসিস্ট্যান্টের কবিতা লেখার প্রয়োজন নেই। এর প্রয়োজন হলো "এসি কমিয়ে দাও" কথাটি বোঝা এবং ব্যাটারি খরচ না করেই কাজ করা।

পাঁচটি প্রধান কারণে ছোট এবং বিশেষায়িত (specialized) মডেলগুলো জায়গা করে নিচ্ছে:

  • অন-ডিভাইস ব্যবহার: ফোনের এখন এমন হার্ডওয়্যার আছে যা দিয়ে স্থানীয়ভাবে (locally) ছোট মডেল চালানো সম্ভব। আপনার অ্যাসিস্ট্যান্ট ইন্টারনেট ছাড়াই কোনো টানেল বা ফ্লাইটে কাজ করতে পারবে।
  • গোপনীয়তা এবং নিয়ন্ত্রণ: হাসপাতাল বা ল ফার্মগুলো তাদের সংবেদনশীল তথ্য কোনো থার্ড-পার্টি API-তে পাঠাতে পারে না। লোকাল হার্ডওয়্যারে একটি ছোট মডেল চালানো ডেটাকে প্রতিষ্ঠানের ভেতরেই সুরক্ষিত রাখে।
  • লো ল্যাটেন্সি (Low latency): একটি স্বয়ংচালিত গাড়ি কোনো আকৃতি পথচারী কি না, তা সিদ্ধান্ত নেওয়ার জন্য ক্লাউড সার্ভারের অপেক্ষায় থাকতে পারে না। সিদ্ধান্ত যেখানে নেওয়া হয়, মডেলটিকে সেখানেই থাকতে হবে।
  • কম খরচ: একটি বিশাল মডেলের মাধ্যমে লক্ষ লক্ষ রিকোয়েস্ট চালানো আপনার মুনাফার মার্জিন কমিয়ে দেয়। একটি টিউন করা (tuned) ছোট মডেল প্রায়শই সাশ্রয়ী এবং টেকসই হয়।
  • দুর্বল কানেক্টিভিটি: বিশ্বের অনেক অংশে ইন্টারনেট সবসময় পাওয়া যায় না। ছোট মডেলগুলো পণ্যগুলোকে অফলাইনে কাজ করার সুযোগ দেয়।

আপনি তিনটি প্রধান পদ্ধতির মাধ্যমে মডেলগুলোকে ছোট করতে পারেন:

  • কোয়ান্টাইজেশন (Quantization): জায়গা বাঁচাতে মডেলের ওয়েটগুলোর (weights) প্রিসিশন কমিয়ে আনা।
  • প্রুনিং (Pruning): অপ্রয়োজনীয় কানেকশনগুলো সরিয়ে ফেলা যা কোনো বাড়তি ভ্যালু যোগ করে না।
  • নলেজ ডিস্টিলেশন (Knowledge distillation): একটি বড় মডেল ব্যবহার করে একটি ছোট মডেলকে তার যুক্তিবোধ বা রিজনিং অনুকরণ করতে শেখানো।

এই পরিবর্তন প্রয়োজনীয় দক্ষতা বা স্কিলসেটকেও বদলে দিচ্ছে।

একটি বিশাল মডেলকে প্রম্পট করা একটি দক্ষতা। কিন্তু একটি বিশেষায়িত মডেল নির্বাচন করা, ফাইন-টিউন করা এবং ডেপ্লয় করা সম্পূর্ণ ভিন্ন একটি ইঞ্জিনিয়ারিং চ্যালেঞ্জ। এটি মূলত গতি, খরচ এবং নির্ভুলতার মধ্যে ভারসাম্য বজায় রাখার বিষয়।

সবকিছু খুব খারাপভাবে করতে পারে এমন একটি বিশাল টুল তৈরির চেষ্টা বন্ধ করুন। বরং কয়েকটি ছোট টুল তৈরি করুন যা একটি কাজ খুব ভালোভাবে করতে পারে।

একটি ছোট মডেল মানে কোনো ডাউনগ্রেড নয়। এটি নির্দিষ্ট কাজের জন্য একটি উন্নততর টুল।

Source: https://dev.to/blakcodes/nobody-wants-your-70b-parameter-model-anymore-56jo

Optional learning community: https://t.me/GyaanSetuAi