LLM માટે MLOps: Dresscode પર એક કેસ સ્ટડી

પ્રૂફ ઓફ કોન્સેપ્ટ (proof of concept) થી વાસ્તવિક પ્રોડક્ટ તરફ આગળ વધવું મુશ્કેલ છે.

મેં Dresscode બનાવ્યું છે, જે એક AI સ્ટાઈલિસ્ટ છે. તે વોર્ડરોબને ડિજિટાઇઝ કરવા અને રીઅલ-ટાઇમ હવામાનના આધારે આઉટફિટ્સ સૂચવવા માટે Gemma 4 નો ઉપયોગ કરે છે.

એક ઉત્તમ વિચાર માટે માત્ર મોડેલ પૂરતું નથી. તેને MLOps ની જરૂર છે.

MLOps તમારા AI ને સચોટ, વિશ્વસનીય અને ચલાવવામાં સસ્તું રાખે છે. AI ને સ્કેલ કરવા માટે હું જે 7-સ્ટેપ પાઇપલાઇનનો ઉપયોગ કરું છું તે અહીં છે.

  1. ડેટા ઇન્જેસ્શન (Data Ingestion) અને એન્જિનિયરિંગ કાચો ડેટા (Raw data) અસ્તવ્યસ્ત હોય છે. Dresscode માટે, વપરાશકર્તાઓ હાઇ-રેઝ ફોટા અપલોડ કરે છે. • ઇન્જેસ્શન: અમે API દ્વારા ફોટાઓને ક્લાઉડ સ્ટોરેજમાં ખસેડીએ છીએ. • એન્જિનિયરિંગ: ખર્ચ બચાવવા અને પ્રોસેસિંગ ઝડપી બનાવવા માટે અમે 12MB ના સ્માર્ટફોન ફોટાઓને કોમ્પ્રેસ કરીએ છીએ. અમે પ્રાઇવસી માટે મેટાડેટા પણ દૂર કરીએ છીએ. • ટેક્સ્ટ ક્લીનિંગ: પ્રોમ્પ્ટ્સને ટૂંકા અને કાર્યક્ષમ રાખવા માટે અમે વેધર API ડેટાને ક્લીન કરીએ છીએ.

  2. ફીચર સ્ટોર (Feature Store) ફીચર્સ એ વિશિષ્ટ વિગતો છે જેનો ઉપયોગ AI નિર્ણયો લેવા માટે કરે છે. • ઇમેજ માટે: અમે ગાણિતિક એમ્બેડિંગ્સ (vectors) સ્ટોર કરીએ છીએ. આ અમને એક જ ઇમેજને બે વાર પ્રોસેસ કરતા અટકાવે છે. • હવામાન માટે: અમે કાચા ડેટાને "chilly" અથવા "rainy" જેવી શ્રેણીઓમાં રૂપાંતરિત કરીએ છીએ. • ફાયદો: ફીચર સ્ટોર તમને આ વિગતો ફરીથી ગણતરી કરવાને બદલે તરત જ મેળવવાની મંજૂરી આપે છે.

  3. મોડેલ ટ્રેનિંગ અને એક્સપેરિમેન્ટેશન અમે Gemma 4 ને શૂન્યથી ટ્રેન કરતા નથી. અમે Prompt Engineering અને ઇવેલ્યુએશન પર ધ્યાન કેન્દ્રિત કરીએ છીએ. • એક્સપેરિમેન્ટેશન: AI ચોખ્ખું JSON આઉટપુટ આપે છે તેની ખાતરી કરવા માટે અમે વિવિધ સિસ્ટમ પ્રોમ્પ્ટ્સનું પરીક્ષણ કરીએ છીએ. • CI (Continuous Integration): અમે 100 ફોટાઓના "Golden Dataset" નો ઉપયોગ કરીએ છીએ. જ્યારે પણ અમે પ્રોમ્પ્ટ બદલીએ છીએ, ત્યારે સિસ્ટમ તપાસે છે કે સચોટતા 95% થી ઉપર રહે છે કે નહીં.

  4. મોડેલ રજિસ્ટ્રી (Model Registry) આને તમારા મોડેલ્સ માટે એપ સ્ટોર તરીકે ગણો. • અમે વર્ઝન કરેલા પ્રોમ્પ્ટ્સ અને મોડેલ કોન્ફિગરેશન સ્ટોર કરીએ છીએ. • જો નવો પ્રોમ્પ્ટ AI ને ઉનાળામાં કોટની ભલામણ કરવા પ્રેરે, તો અમે તરત જ સ્ટેબલ વર્ઝન પર જવા માટે "Rollback" પર ક્લિક કરી શકીએ છીએ.

  5. કંટીન્યુઅસ ડિપ્લોયમેન્ટ અને સર્વિંગ (Continuous Deployment and Serving) આ રીતે તમે મોડેલ યુઝર સુધી પહોંચાડો છો. • વિઝ્યુઅલ ટાસ્ક: અમે અસિંક્રોનસ ક્યુઝ (asynchronous queues) નો ઉપયોગ કરીએ છીએ. વપરાશકર્તાઓ ફોટા અપલોડ કરે છે, અને અમે તેને બેકગ્રાઉન્ડમાં પ્રોસેસ કરીએ છીએ જેથી એપ ઝડપી રહે. • ટેક્સ્ટ ટાસ્ક: અમે ટોકન સ્ટ્રીમિંગનો ઉપયોગ કરીએ છીએ. આ આઉટફિટ સૂચન શબ્દ-દર-શબ્દ બતાવે છે જેથી વપરાશકર્તાએ લોડિંગ સ્ક્રીન સામે જોયા ન રહેવું પડે.

  6. કંટીન્યુઅસ મોનિટરિંગ (Continuous Monitoring) સમય જતાં AI ની ગુણવત્તા ઘટી શકે છે. અમે ત્રણ બાબતોનું મોનિટરિંગ કરીએ છીએ: • સિસ્ટમ પરફોર્મન્સ: શું લેટન્સી (latency) વધી રહી છે? • ડેટા ડ્રિફ્ટ (Data Drift): શું વપરાશકર્તાઓ એવા નવા ફોટો ફોર્મેટ અપલોડ કરી રહ્યા છે જેની અમે અપેક્ષા ન રાખી હતી? • મોડેલ એક્યુરેસી: શું AI એવા આઇટમ્સના ભ્રમ (hallucinate) પેદા કરી રહ્યું છે જે વપરાશકર્તા પાસે નથી?

  7. ફીડબેક લૂપ (The Feedback Loop) સિસ્ટમે ભૂલોમાંથી શીખવું જોઈએ. અમે વપરાશકર્તાના સુધારાઓને કેપ્ચર કરીએ છીએ અને મોડેલને ફરીથી ટ્રેન કરવા અને સુધારવા માટે તે ડેટાને પ્રથમ સ્ટેપમાં પાછો મોકલીએ છીએ.

MLOps એક શાનદાર ડેમોને પ્રોફેશનલ ટૂલમાં ફેરવે છે.

સ્ત્રોત: https://dev.to/saad4software/mlops-for-llm-a-case-study-on-dresscode-3joj

વૈકલ્પિક લર્નિંગ કોમ્યુનિટી: https://t.me/GyaanSetuAi