LLM-এর জন্য MLOps: Dresscode-এর ওপর একটি কেস স্টাডি
একটি প্রুফ অফ কনসেপ্ট (proof of concept) থেকে বাস্তব পণ্যে রূপান্তর করা কঠিন।
আমি Dresscode তৈরি করেছি, যা একটি AI স্টাইলিস্ট। এটি ওয়ার্ডরোব ডিজিটাইজ করতে এবং রিয়েল-টাইম আবহাওয়ার ওপর ভিত্তি করে পোশাকের পরামর্শ দিতে Gemma 4 ব্যবহার করে।
একটি দুর্দান্ত ধারণার জন্য কেবল একটি মডেলই যথেষ্ট নয়। এর জন্য প্রয়োজন MLOps।
MLOps আপনার AI-কে নির্ভুল, নির্ভরযোগ্য এবং সাশ্রয়ী রাখতে সাহায্য করে। AI স্কেল করার জন্য আমি যে ৭-ধাপের পাইপলাইন ব্যবহার করি তা নিচে দেওয়া হলো।
১. ডেটা ইনজেশন এবং ইঞ্জিনিয়ারিং (Data Ingestion and Engineering) র (Raw) ডেটা অগোছালো হয়। Dresscode-এর জন্য ব্যবহারকারীরা হাই-রেজোলিউশন ছবি আপলোড করেন। • ইনজেশন (Ingestion): আমরা API-এর মাধ্যমে ছবিগুলোকে ক্লাউড স্টোরেজে স্থানান্তর করি। • ইঞ্জিনিয়ারিং (Engineering): খরচ কমাতে এবং প্রসেসিং দ্রুত করতে আমরা ১২ মেগাবাইট সাইজের স্মার্টফোন ছবিগুলোকে কম্প্রেস করি। গোপনীয়তা রক্ষার জন্য আমরা মেটাডেটা সরিয়ে ফেলি। • টেক্সট ক্লিনিং (Text Cleaning): প্রম্পটগুলোকে সংক্ষিপ্ত এবং কার্যকর রাখতে আমরা weather API ডেটা পরিষ্কার করি।
২. ফিচার স্টোর (Feature Store) ফিচার হলো সেই নির্দিষ্ট বিবরণ যা একটি AI সিদ্ধান্ত নিতে ব্যবহার করে। • ছবির জন্য: আমরা গাণিতিক এমবেডিং (vectors) সংরক্ষণ করি। এটি একই ছবি বারবার প্রসেস করা থেকে আমাদের বিরত রাখে। • আবহাওয়ার জন্য: আমরা র ডেটাকে "chilly" বা "rainy"-এর মতো ক্যাটাগরিতে রূপান্তর করি। • সুবিধা: একটি ফিচার স্টোর আপনাকে এগুলো পুনরায় গণনা না করে তাৎক্ষণিকভাবে ব্যবহার করতে দেয়।
৩. মডেল ট্রেনিং এবং এক্সপেরিমেন্টেশন (Model Training and Experimentation) আমরা Gemma 4-কে শুরু থেকে (from scratch) ট্রেনিং দিই না। আমরা Prompt Engineering এবং মূল্যায়নের (evaluation) ওপর গুরুত্ব দিই। • এক্সপেরিমেন্টেশন (Experimentation): AI যেন পরিষ্কার JSON আউটপুট দেয় তা নিশ্চিত করতে আমরা বিভিন্ন সিস্টেম প্রম্পট পরীক্ষা করি। • CI (Continuous Integration): আমরা ১০০টি ছবির একটি "Golden Dataset" ব্যবহার করি। প্রতিবার প্রম্পট পরিবর্তন করার সময় সিস্টেম পরীক্ষা করে দেখে যে নির্ভুলতা (accuracy) ৯৫%-এর উপরে থাকছে কি না।
৪. মডেল রেজিস্ট্রি (Model Registry) এটিকে আপনার মডেলগুলোর জন্য একটি অ্যাপ স্টোর হিসেবে ভাবুন। • আমরা ভার্সন করা প্রম্পট এবং মডেল কনফিগারেশন সংরক্ষণ করি। • যদি কোনো নতুন প্রম্পটের কারণে AI গ্রীষ্মকালে কোট পরার পরামর্শ দেয়, তবে আমরা তাৎক্ষণিকভাবে একটি স্থিতিশীল ভার্সনে ফিরে যেতে "Rollback" ক্লিক করতে পারি।
৫. কন্টিনিউয়াস ডিপ্লয়মেন্ট এবং সার্ভিং (Continuous Deployment and Serving) এভাবেই আপনি মডেলটি ব্যবহারকারীর কাছে পৌঁছে দেন। • ভিজ্যুয়াল টাস্ক (Visual Tasks): আমরা asynchronous queues ব্যবহার করি। ব্যবহারকারীরা ছবি আপলোড করেন এবং আমরা ব্যাকগ্রাউন্ডে সেগুলো প্রসেস করি যাতে অ্যাপটি দ্রুত কাজ করে। • টেক্সট টাস্ক (Text Tasks): আমরা token streaming ব্যবহার করি। এটি পোশাকের পরামর্শটি শব্দে শব্দে দেখায় যাতে ব্যবহারকারীকে লোডিং স্ক্রিনের দিকে তাকিয়ে থাকতে না হয়।
৬. কন্টিনিউয়াস মনিটরিং (Continuous Monitoring) সময়ের সাথে সাথে AI-এর কার্যকারিতা কমে যেতে পারে। আমরা তিনটি বিষয় মনিটর করি: • সিস্টেম পারফরম্যান্স (System Performance): ল্যাটেন্সি (latency) কি বাড়ছে? • ডেটা ড্রিফট (Data Drift): ব্যবহারকারীরা কি এমন কোনো নতুন ফরম্যাটের ছবি আপলোড করছেন যা আমরা আশা করিনি? • মডেল নির্ভুলতা (Model Accuracy): AI কি এমন সব জিনিসের কথা বলছে (hallucinate) যা ব্যবহারকারীর কাছে নেই?
৭. ফিডব্যাক লুপ (The Feedback Loop) সিস্টেমকে অবশ্যই ভুল থেকে শিখতে হবে। আমরা ব্যবহারকারীর সংশোধনগুলো সংগ্রহ করি এবং মডেলটিকে পুনরায় ট্রেনিং দিতে ও উন্নত করতে সেই ডেটা প্রথম ধাপে ফেরত পাঠাই।
MLOps একটি চমৎকার ডেমোকে একটি পেশাদার টুলে রূপান্তরিত করে।
উৎস: https://dev.to/saad4software/mlops-for-llm-a-case-study-on-dresscode-3joj
ঐচ্ছিক লার্নিং কমিউনিটি: https://t.me/GyaanSetuAi