LLM साठी MLOps: Dresscode वरील एक केस स्टडी

'प्रूफ ऑफ कन्सेप्ट' (proof of concept) कडून प्रत्यक्ष उत्पादनाकडे वळणे कठीण असते.

मी Dresscode तयार केले आहे, जे एक AI स्टायलिस्ट आहे. ते वॉर्डरोबचे डिजिटायझेशन करण्यासाठी आणि रिअल-टाइम हवामानानुसार कपड्यांचे पर्याय सुचवण्यासाठी Gemma 4 चा वापर करते.

एका उत्तम कल्पनेसाठी केवळ मॉडेल पुरेसे नसते. त्यासाठी MLOps ची आवश्यकता असते.

MLOps तुमचे AI अचूक, विश्वसनीय आणि कमी खर्चात चालण्यायोग्य ठेवते. AI स्केल करण्यासाठी मी वापरत असलेले ७-टप्प्यांचे पाइपलाइन खालीलप्रमाणे आहे.

  1. Data Ingestion and Engineering कच्चा डेटा (Raw data) विस्कळीत असतो. Dresscode साठी, वापरकर्ते हाय-रिझोल्यूशन फोटो अपलोड करतात. • Ingestion: आम्ही API द्वारे फोटो क्लाउड स्टोरेजमध्ये हलवतो. • Engineering: खर्च वाचवण्यासाठी आणि प्रोसेसिंगचा वेग वाढवण्यासाठी आम्ही १२MB चे स्मार्टफोन फोटो कॉम्प्रेस करतो. गोपनीयतेसाठी आम्ही मेटाडेटा देखील काढून टाकतो. • Text Cleaning: प्रॉम्प्ट्स (prompts) संक्षिप्त आणि कार्यक्षम ठेवण्यासाठी आम्ही वेदर API डेटा स्वच्छ करतो.

  2. Feature Store फीचर्स (Features) म्हणजे असे विशिष्ट तपशील जे AI निर्णय घेण्यासाठी वापरते. • इमेजसाठी: आम्ही गणितीय एम्बेडिंग्स (mathematical embeddings - vectors) साठवतो. यामुळे एकाच इमेजवर वारंवार प्रक्रिया करण्याची गरज पडत नाही. • हवामानासाठी: आम्ही कच्च्या डेटाचे "थंड" किंवा "पावसाळी" यांसारख्या श्रेणींमध्ये रूपांतर करतो. • फायदा: फीचर स्टोअरमुळे तुम्हाला हे तपशील पुन्हा मोजण्याऐवजी त्वरित मिळवता येतात.

  3. Model Training and Experimentation आम्ही Gemma 4 ला शून्यापासून (from scratch) प्रशिक्षित करत नाही. आमचा मुख्य भर प्रॉम्प्ट इंजिनिअरिंग (Prompt Engineering) आणि मूल्यमापनावर आहे. • Experimentation: AI ने स्वच्छ JSON आउटपुट द्यावे यासाठी आम्ही विविध सिस्टम प्रॉम्प्ट्सची चाचणी घेतो. • CI (Continuous Integration): आम्ही १०० फोटोंचा "Golden Dataset" वापरतो. जेव्हा जेव्हा आम्ही प्रॉम्प्ट बदलतो, तेव्हा सिस्टीम अचूकता ९५% च्या वर राहते की नाही हे तपासते.

  4. Model Registry याला तुमच्या मॉडेल्ससाठीचे 'ॲप स्टोअर' समजा. • आम्ही व्हर्जन केलेले प्रॉम्प्ट्स आणि मॉडेल कॉन्फिगरेशन्स साठवतो. • जर एखाद्या नवीन प्रॉम्प्टमुळे AI उन्हाळ्यात कोट सुचवत असेल, तर आम्ही त्वरित स्थिर व्हर्जनवर जाण्यासाठी "Rollback" वर क्लिक करू शकतो.

  5. Continuous Deployment and Serving याद्वारे तुम्ही मॉडेल वापरकर्त्यापर्यंत पोहोचवता. • Visual Tasks: आम्ही असिंक्रोनस क्यूज (asynchronous queues) वापरतो. वापरकर्ते फोटो अपलोड करतात आणि आम्ही बॅकग्राउंडमध्ये त्यावर प्रक्रिया करतो जेणेकरून ॲपचा वेग कायम राहील. • Text Tasks: आम्ही टोकन स्ट्रीमिंग (token streaming) वापरतो. यामुळे कपड्यांचे पर्याय शब्दशः (word-by-word) दिसतात, ज्यामुळे वापरकर्त्याला लोडिंग स्क्रीनकडे पाहत राहावे लागत नाही.

  6. Continuous Monitoring काळानुसार AI ची कार्यक्षमता कमी होऊ शकते. आम्ही तीन गोष्टींवर लक्ष ठेवतो: • System Performance: लॅटन्सी (latency) वाढत आहे का? • Data Drift: वापरकर्ते असे नवीन फोटो फॉरमॅट अपलोड करत आहेत का ज्याची आम्ही अपेक्षा केली नव्हती? • Model Accuracy: AI वापरकर्त्याकडे नसलेल्या वस्तू सुचवू लागली आहे का (hallucinate)?

  7. The Feedback Loop सिस्टीमने चुकांमधून शिकले पाहिजे. आम्ही वापरकर्त्यांच्या दुरुस्त्या (corrections) नोंदवतो आणि मॉडेल पुन्हा प्रशिक्षित करण्यासाठी व सुधारण्यासाठी तो डेटा पहिल्या टप्प्यात परत पाठवतो.

MLOps एका उत्तम डेमोला व्यावसायिक टूलमध्ये रूपांतरित करते.

स्रोत: https://dev.to/saad4software/mlops-for-llm-a-case-study-on-dresscode-3joj

वैकल्पिक लर्निंग कम्युनिटी: https://t.me/GyaanSetuAi