𝗚𝗣𝗧 আপনার ভাবনার চেয়েও বেশি কিছু করতে পারে
GPT মডেলগুলো টেক্সট নিয়ে আমাদের কাজ করার পদ্ধতি বদলে দিচ্ছে।
এই যাত্রা শুরু হয়েছিল GPT-1 দিয়ে। এটি দেখিয়েছিল যে মেশিন সুসংগত বাক্য লিখতে পারে। এরপর GPT-2 আসে এবং দেখায় এই মডেলগুলোর কত সম্ভাবনা রয়েছে। তারপর এলো GPT-3। ১৭৫ বিলিয়ন প্যারামিটার নিয়ে এটি প্রমাণ করেছিল যে মডেলগুলো কেবল একটি বাক্য শেষ করার চেয়েও বেশি কিছু করতে পারে।
এর রহস্য হলো Transformer আর্কিটেকচার। এটি বিশাল পরিমাণ ডেটা থেকে প্যাটার্ন শেখে। আপনাকে প্রতিটি নিয়ম প্রোগ্রাম করার প্রয়োজন নেই। আপনি নির্দিষ্ট কাজের জন্য এটিকে fine-tune করতে পারেন অথবা নির্দেশ দেওয়ার জন্য natural language ব্যবহার করতে পারেন।
কিন্তু প্রোডাকশনে এই মডেলগুলো চালানো বেশ কঠিন।
উচ্চ ল্যাটেন্সি ব্যবহারকারীর অভিজ্ঞতা নষ্ট করে দিতে পারে। আমরা ৬৪টি Nvidia H100 GPU-তে বড় মডেল চালিয়েছিলাম। বিলম্ব বা ডিলে ছিল ১২০ms। আমাদের প্রয়োজনের জন্য এটি ছিল অত্যন্ত ধীর। আমরা LoRA ব্যবহার করে একটি ছোট ৬-বিলিয়ন-প্যারামিটার মডেল ব্যবহার শুরু করি। এতে ল্যাটেন্সি কমে ৩৮ms-এ নেমে আসে। এটি আমাদের প্রতি মাসে $৩০,০০০ সাশ্রয় করেছে। আমরা কোডিংয়ের কিছু নির্ভুলতা হারিয়েছিলাম, কিন্তু গতি এবং খরচ এটিকে সার্থক করে তুলেছে।
আপনাকে পক্ষপাতিত্বের (biases) দিকেও নজর রাখতে হবে। GPT ইন্টারনেট থেকে প্যাটার্ন শেখে। এর মানে হলো এটি স্টেরিওটাইপ বা তথ্যগত ভুল পুনরাবৃত্তি করতে পারে। ভুল হলেও এটি আত্মবিশ্বাসের সাথে কথা বলে।
এই ভুলগুলো ধরার জন্য আমরা একটি ডেটা পাইপলাইন তৈরি করেছি। পক্ষপাতদুষ্ট ভাষা শনাক্ত করতে আমরা একটি rule engine ব্যবহার করেছি। শুরুতে আমাদের ফ্ল্যাগগুলোর ৪% ভুল ছিল। একটি ছোট validation model যোগ করে আমরা এটি ঠিক করেছি। এর ফলে ভুল ১%-এর নিচে নেমে এসেছে।
খরচ এবং শক্তি (energy) ও বড় বাধা।
বড় মডেল প্রশিক্ষণে লক্ষ লক্ষ ডলার খরচ হয়। খরচ কমাতে আমরা quantization ব্যবহার করি। 4-bit quantization ব্যবহার করে আমরা প্রতি টোকেনের খরচ $0.00015 থেকে কমিয়ে $0.00004 এ নিয়ে এসেছি। একটি বড় SaaS প্রোডাক্টের জন্য এটি বছরে $৩ মিলিয়ন সাশ্রয় করে।
ভবিষ্যৎ দক্ষতার (efficiency) দিকে এগিয়ে যাচ্ছে। মডেলগুলোকে কেবল বড় করার পরিবর্তে ডেভেলপাররা সেগুলোকে আরও স্মার্ট এবং ছোট করে তুলছেন। আমাদের এমন মডেল প্রয়োজন যা দ্রুত, সাশ্রয়ী এবং যা জানে না সে বিষয়ে সৎ।
এই টুলগুলো বুদ্ধিমত্তার সাথে ব্যবহার করুন। এদের সীমাবদ্ধতা বুঝুন। এদের সহায়ক রাখতে guardrails তৈরি করুন।
Source: https://dev.to/lavkeshdwivedi/gpt-does-more-than-you-think-fll
Optional learning community: https://t.me/GyaanSetuAi