MLOps for LLM: Dresscode-നെ കുറിച്ചുള്ള ഒരു കേസ് സ്റ്റഡി

ഒരു പ്രൂഫ് ഓഫ് കൺസെപ്റ്റിൽ (proof of concept) നിന്ന് യഥാർത്ഥ ഉൽപ്പന്നത്തിലേക്കുള്ള മാറ്റം പ്രയാസകരമാണ്.

ഞാൻ Dresscode എന്ന ഒരു AI സ്റ്റൈലിസ്റ്റ് നിർമ്മിച്ചു. വസ്ത്രശേഖരങ്ങളെ (wardrobes) ഡിജിറ്റൈസ് ചെയ്യാനും തത്സമയ കാലാവസ്ഥ അനുസരിച്ച് വസ്ത്രങ്ങൾ നിർദ്ദേശിക്കാനും ഇത് Gemma 4 ഉപയോഗിക്കുന്നു.

ഒരു മികച്ച ആശയത്തിന് ഒരു മോഡൽ മാത്രം പോരാ. അതിന് MLOps ആവശ്യമാണ്.

നിങ്ങളുടെ AI കൃത്യതയുള്ളതും വിശ്വസനീയവും കുറഞ്ഞ ചിലവിൽ പ്രവർത്തിപ്പിക്കാൻ കഴിയുന്നതുമാക്കാൻ MLOps സഹായിക്കുന്നു. AI സ്കെയിൽ ചെയ്യാൻ ഞാൻ ഉപയോഗിക്കുന്ന 7 ഘട്ടങ്ങളുള്ള പൈപ്പ്‌ലൈൻ ഇതാ.

  1. Data Ingestion and Engineering പച്ച ഡാറ്റ (Raw data) പലപ്പോഴും ക്രമരഹിതമായിരിക്കും. Dresscode-ൽ ഉപയോക്താക്കൾ ഹൈ-റെസല്യൂഷൻ ഫോട്ടോകൾ അപ്‌ലോഡ് ചെയ്യുന്നു. • Ingestion: ഞങ്ങൾ API വഴി ഫോട്ടോകൾ ക്ലൗഡ് സ്റ്റോറേജിലേക്ക് മാറ്റുന്നു. • Engineering: ചിലവ് കുറയ്ക്കാനും പ്രോസസ്സിംഗ് വേഗത്തിലാക്കാനും ഞങ്ങൾ 12MB സ്മാർട്ട്ഫോൺ ഫോട്ടോകൾ കംപ്രസ്സ് ചെയ്യുന്നു. കൂടാതെ സ്വകാര്യതയ്ക്കായി മെറ്റാഡാറ്റ (metadata) നീക്കം ചെയ്യുന്നു. • Text Cleaning: പ്രോംപ്റ്റുകൾ (prompts) ചെറുതും കാര്യക്ഷമവുമാക്കാൻ ഞങ്ങൾ വെതർ API ഡാറ്റ ക്ലീൻ ചെയ്യുന്നു.

  2. Feature Store AI തീരുമാനങ്ങൾ എടുക്കാൻ ഉപയോഗിക്കുന്ന പ്രത്യേക വിവരങ്ങളാണ് ഫീച്ചറുകൾ (Features). • ചിത്രങ്ങൾക്ക്: ഞങ്ങൾ മാത്തമാറ്റിക്കൽ എംബെഡിംഗുകൾ (mathematical embeddings/vectors) സംഭരിക്കുന്നു. ഇത് ഒരേ ചിത്രം വീണ്ടും പ്രോസസ്സ് ചെയ്യുന്നത് ഒഴിവാക്കാൻ സഹായിക്കുന്നു. • കാലാവസ്ഥയ്ക്ക്: ഞങ്ങൾ പച്ച ഡാറ്റയെ "തണുപ്പുള്ളത്" അല്ലെങ്കിൽ "മഴയുള്ളത്" എന്നിങ്ങനെയുള്ള വിഭാഗങ്ങളായി മാറ്റുന്നു. • ഗുണം: ഒരു ഫീച്ചർ സ്റ്റോർ ഉപയോഗിക്കുന്നതിലൂടെ ഇവ വീണ്ടും കണക്കുകൂട്ടുന്നതിന് പകരം ഉടനടി ഈ വിവരങ്ങൾ ലഭ്യമാക്കാൻ സാധിക്കുന്നു.

  3. Model Training and Experimentation ഞങ്ങൾ Gemma 4 പൂജ്യത്തിൽ നിന്ന് (from scratch) പരിശീലിപ്പിക്കുന്നില്ല. പകരം പ്രോംപ്റ്റ് എൻജിനീയറിംഗിലും (Prompt Engineering) മൂല്യനിർണ്ണയത്തിലും (evaluation) ശ്രദ്ധ കേന്ദ്രീകരിക്കുന്നു. • Experimentation: AI കൃത്യമായ JSON ഔട്ട്‌പുട്ട് നൽകുന്നുണ്ടെന്ന് ഉറപ്പാക്കാൻ ഞങ്ങൾ വിവിധ സിസ്റ്റം പ്രോംപ്റ്റുകൾ പരീക്ഷിക്കുന്നു. • CI (Continuous Integration): ഞങ്ങൾ 100 ഫോട്ടോകൾ അടങ്ങിയ ഒരു "Golden Dataset" ഉപയോഗിക്കുന്നു. ഓരോ തവണ പ്രോംപ്റ്റ് മാറ്റുമ്പോഴും കൃത്യത 95%-ന് മുകളിൽ നിൽക്കുന്നുണ്ടോ എന്ന് സിസ്റ്റം പരിശോധിക്കുന്നു.

  4. Model Registry നിങ്ങളുടെ മോഡലുകൾക്കായുള്ള ഒരു ആപ്പ് സ്റ്റോർ ആയി ഇതിനെ കരുതാം. • ഞങ്ങൾ വേർഷൻ ചെയ്ത പ്രോംപ്റ്റുകളും മോഡൽ കോൺഫിഗറേഷനുകളും സംഭരിക്കുന്നു. • ഒരു പുതിയ പ്രോംപ്റ്റ് കാരണം വേനൽക്കാലത്ത് കോട്ട് ധരിക്കാൻ AI നിർദ്ദേശിക്കുകയാണെങ്കിൽ, ഉടൻ തന്നെ ഒരു സ്റ്റേബിൾ വേർഷനിലേക്ക് പോകാൻ ഞങ്ങൾക്ക് "Rollback" ക്ലിക്ക് ചെയ്യാം.

  5. Continuous Deployment and Serving ഇതാണ് മോഡലിനെ ഉപയോക്താവിലേക്ക് എത്തിക്കുന്ന രീതി. • Visual Tasks: ഞങ്ങൾ അസിൻക്രണസ് ക്യൂകൾ (asynchronous queues) ഉപയോഗിക്കുന്നു. ഉപയോക്താക്കൾ ഫോട്ടോകൾ അപ്‌ലോഡ് ചെയ്യുമ്പോൾ, ആപ്പ് വേഗത്തിൽ പ്രവർത്തിക്കുന്നതിനായി ഞങ്ങൾ അവ ബാക്ക്ഗ്രൗണ്ടിൽ പ്രോസസ്സ് ചെയ്യുന്നു. • Text Tasks: ഞങ്ങൾ ടോക്കൺ സ്ട്രീമിംഗ് (token streaming) ഉപയോഗിക്കുന്നു. ഇത് വസ്ത്ര നിർദ്ദേശങ്ങൾ ഓരോ വാക്കുകളായി കാണിക്കുന്നു, അതിനാൽ ഉപയോക്താവിന് ലോഡിംഗ് സ്ക്രീൻ നോക്കി കാത്തുനിൽക്കേണ്ടി വരുന്നില്ല.

  6. Continuous Monitoring കാലക്രമേണ AI-യുടെ പ്രകടനം കുറയാൻ സാധ്യതയുണ്ട്. ഞങ്ങൾ മൂന്ന് കാര്യങ്ങൾ നിരീക്ഷിക്കുന്നു: • System Performance: ലേറ്റൻസി (latency) കൂടുന്നുണ്ടോ? • Data Drift: ഞങ്ങൾ പ്രതീക്ഷിക്കാത്ത പുതിയ ഫോട്ടോ ഫോർമാറ്റുകൾ ഉപയോക്താക്കൾ അപ്‌ലോഡ് ചെയ്യുന്നുണ്ടോ? • Model Accuracy: ഉപയോക്താവിന്റേതല്ലാത്ത സാധനങ്ങൾ AI നിർദ്ദേശിക്കാൻ (hallucinate) തുടങ്ങുന്നുണ്ടോ?

  7. The Feedback Loop സിസ്റ്റം തെറ്റുകളിൽ നിന്ന് പഠിക്കണം. ഉപയോക്താക്കളുടെ തിരുത്തലുകൾ ഞങ്ങൾ ശേഖരിക്കുകയും, മോഡൽ വീണ്ടും പരിശീലിപ്പിക്കാനും മെച്ചപ്പെടുത്താനുമായി ആ ഡാറ്റ ഒന്നാമത്തെ ഘട്ടത്തിലേക്ക് തന്നെ തിരികെ നൽകുകയും ചെയ്യുന്നു.

MLOps ഒരു മികച്ച ഡെമോയെ ഒരു പ്രൊഫഷണൽ ടൂളായി മാറ്റുന്നു.

Source: https://dev.to/saad4software/mlops-for-llm-a-case-study-on-dresscode-3joj

Optional learning community: https://t.me/GyaanSetuAi