MLOps for LLM: Dresscode ಕುರಿತಾದ ಒಂದು ಅಧ್ಯಯನ (Case Study)
ಒಂದು ಪರಿಕಲ್ಪನೆಯಿಂದ (proof of concept) ನೈಜ ಉತ್ಪನ್ನಕ್ಕೆ ಬದಲಾಗುವುದು ಕಷ್ಟದ ಕೆಲಸ.
ನಾನು Dresscode ಎಂಬ AI ಸ್ಟೈಲಿಸ್ಟ್ ಅನ್ನು ನಿರ್ಮಿಸಿದ್ದೇನೆ. ಇದು ವಾರ್ಡ್ರೋಬ್ಗಳನ್ನು ಡಿಜಿಟೈಸ್ ಮಾಡಲು ಮತ್ತು ನೈಜ-ಸಮಯದ ಹವಾಮಾನದ ಆಧಾರದ ಮೇಲೆ ಉಡುಪುಗಳನ್ನು ಸೂಚಿಸಲು Gemma 4 ಅನ್ನು ಬಳಸುತ್ತದೆ.
ಒಂದು ಉತ್ತಮ ಕಲ್ಪನೆಗೆ ಕೇವಲ ಮಾಡೆಲ್ ಮಾತ್ರ ಸಾಲದು. ಅದಕ್ಕೆ MLOps ಬೇಕು.
MLOps ನಿಮ್ಮ AI ಅನ್ನು ನಿಖರವಾದದ್ದು, ವಿಶ್ವಾಸಾರ್ಹವಾದದ್ದು ಮತ್ತು ಕಡಿಮೆ ವೆಚ್ಚದಲ್ಲಿ ನಡೆಸುವಂತೆ ಮಾಡುತ್ತದೆ. AI ಅನ್ನು ವಿಸ್ತರಿಸಲು ನಾನು ಬಳಸುವ 7-ಹಂತದ ಪೈಪ್ಲೈನ್ ಇಲ್ಲಿದೆ.
ಡೇಟಾ ಇಂಜೆಸ್ಟಿನ್ ಮತ್ತು ಎಂಜಿನಿಯರಿಂಗ್ (Data Ingestion and Engineering) ಕಚ್ಚಾ ಡೇಟಾ (Raw data) ಅಸ್ತವ್ಯಸ್ತವಾಗಿರುತ್ತದೆ. Dresscode ಗಾಗಿ, ಬಳಕೆದಾರರು ಹೈ-ರೆಸಲ್ಯೂಶನ್ ಫೋಟೋಗಳನ್ನು ಅಪ್ಲೋಡ್ ಮಾಡುತ್ತಾರೆ. • ಇಂಜೆಸ್ಟಿನ್: ನಾವು API ಮೂಲಕ ಫೋಟೋಗಳನ್ನು ಕ್ಲೌಡ್ ಸ್ಟೋರೇಜ್ಗೆ ವರ್ಗಾಯಿಸುತ್ತೇವೆ. • ಎಂಜಿನಿಯರಿಂಗ್: ವೆಚ್ಚವನ್ನು ಉಳಿಸಲು ಮತ್ತು ಪ್ರೊಸೆಸಿಂಗ್ ವೇಗಗೊಳಿಸಲು ನಾವು 12MB ಸ್ಮಾರ್ಟ್ಫೋನ್ ಫೋಟೋಗಳನ್ನು ಕಂಪ್ರೆಸ್ ಮಾಡುತ್ತೇವೆ. ಗೌಪ್ಯತೆಗಾಗಿ ನಾವು ಮೆಟಾಡೇಟಾವನ್ನು ಸಹ ತೆಗೆದುಹಾಕುತ್ತೇವೆ. • ಟೆಕ್ಸ್ಟ್ ಕ್ಲೀನಿಂಗ್: ಪ್ರಾಂಪ್ಟ್ಗಳನ್ನು ಸಂಕ್ಷಿಪ್ತವಾಗಿ ಮತ್ತು ಪರಿಣಾಮಕಾರಿಯಾಗಿಡಲು ನಾವು ವೆದರ್ API ಡೇಟಾವನ್ನು ಕ್ಲೀನ್ ಮಾಡುತ್ತೇವೆ.
ಫೀಚರ್ ಸ್ಟೋರ್ (Feature Store) ಫೀಚರ್ಗಳು ಎಂದರೆ AI ನಿರ್ಧಾರಗಳನ್ನು ತೆಗೆದುಕೊಳ್ಳಲು ಬಳಸುವ ನಿರ್ದಿಷ್ಟ ವಿವರಗಳು. • ಚಿತ್ರಗಳಿಗಾಗಿ: ನಾವು ಗಣಿತೀಯ ಎಂಬೆಡ್ಡಿಂಗ್ಗಳನ್ನು (mathematical embeddings/vectors) ಸಂಗ್ರಹಿಸುತ್ತೇವೆ. ಇದು ಒಂದೇ ಚಿತ್ರವನ್ನು ಮತ್ತೆ ಮತ್ತೆ ಪ್ರೊಸೆಸ್ ಮಾಡುವುದನ್ನು ತಪ್ಪಿಸುತ್ತದೆ. • ಹವಾಮಾನಕ್ಕಾಗಿ: ನಾವು ಕಚ್ಚಾ ಡೇಟಾವನ್ನು "ಚಳಿಯಾದ" ಅಥವಾ "ಮಳೆಯಾದ" ಎಂಬ ವರ್ಗಗಳಾಗಿ ಪರಿವರ್ತಿಸುತ್ತೇವೆ. • ಪ್ರಯೋಜನ: ಫೀಚರ್ ಸ್ಟೋರ್ ಅನ್ನು ಬಳಸುವುದರಿಂದ, ನೀವು ವಿವರಗಳನ್ನು ಮರು-ಲೆಕ್ಕಾಚಾರ ಮಾಡುವ ಬದಲು ತಕ್ಷಣವೇ ಪಡೆಯಬಹುದು.
ಮಾಡೆಲ್ ತರಬೇತಿ ಮತ್ತು ಪ್ರಯೋಗಗಳು (Model Training and Experimentation) ನಾವು Gemma 4 ಅನ್ನು ಮೊದಲಿನಿಂದ ತರಬೇತಿ ಮಾಡುವುದಿಲ್ಲ. ನಾವು Prompt Engineering ಮತ್ತು ಮೌಲ್ಯಮಾಪನದ (evaluation) ಮೇಲೆ ಗಮನ ಹರಿಸುತ್ತೇವೆ. • ಪ್ರಯೋಗಗಳು: AI ಸ್ವಚ್ಛವಾದ JSON ಅನ್ನು ನೀಡುತ್ತದೆ ಎಂದು ಖಚಿತಪಡಿಸಿಕೊಳ್ಳಲು ನಾವು ವಿವಿಧ ಸಿಸ್ಟಮ್ ಪ್ರಾಂಪ್ಟ್ಗಳನ್ನು ಪರೀಕ್ಷಿಸುತ್ತೇವೆ. • CI (Continuous Integration): ನಾವು 100 ಫೋಟೋಗಳ "Golden Dataset" ಅನ್ನು ಬಳಸುತ್ತೇವೆ. ಪ್ರತಿ ಬಾರಿ ನಾವು ಪ್ರಾಂಪ್ಟ್ ಬದಲಾಯಿಸಿದಾಗಲೂ, ನಿಖರತೆ 95% ಕ್ಕಿಂತ ಹೆಚ್ಚಿದೆಯೇ ಎಂದು ಸಿಸ್ಟಮ್ ಪರಿಶೀಲಿಸುತ್ತದೆ.
ಮಾಡೆಲ್ ರಿಜಿಸ್ಟ್ರಿ (Model Registry) ಇದನ್ನು ನಿಮ್ಮ ಮಾಡೆಲ್ಗಳಿಗಾಗಿ ಒಂದು ಆ್ಯಪ್ ಸ್ಟೋರ್ ಎಂದು ಭಾವಿಸಿ. • ನಾವು ವರ್ಷನ್ ಮಾಡಿದ ಪ್ರಾಂಪ್ಟ್ಗಳು ಮತ್ತು ಮಾಡೆಲ್ ಕಾನ್ಫಿಗರೇಶನ್ಗಳನ್ನು ಸಂಗ್ರಹಿಸುತ್ತೇವೆ. • ಒಂದು ವೇಳೆ ಹೊಸ ಪ್ರಾಂಪ್ಟ್ನಿಂದಾಗಿ AI ಬೇಸಿಗೆಯಲ್ಲಿ ಕೋಟ್ ಅನ್ನು ಶಿಫಾರಸು ಮಾಡಿದರೆ, ನಾವು ತಕ್ಷಣವೇ ಸ್ಥಿರವಾದ ವರ್ಷನ್ಗೆ ಹೋಗಲು "Rollback" ಕ್ಲಿಕ್ ಮಾಡಬಹುದು.
ಕಂಟಿನ್ಯೂಯಸ್ ಡಿಪ್ಲಾಯ್ಮೆಂಟ್ ಮತ್ತು ಸರ್ವಿಂಗ್ (Continuous Deployment and Serving) ಇದು ಮಾಡೆಲ್ ಅನ್ನು ಬಳಕೆದಾರರಿಗೆ ತಲುಪಿಸುವ ವಿಧಾನವಾಗಿದೆ. • ದೃಶ್ಯ ಕಾರ್ಯಗಳು (Visual Tasks): ನಾವು ಅಸಿಂಕ್ರೋನಸ್ ಕ್ಯೂಗಳನ್ನು (asynchronous queues) ಬಳಸುತ್ತೇವೆ. ಬಳಕೆದಾರರು ಫೋಟೋಗಳನ್ನು ಅಪ್ಲೋಡ್ ಮಾಡಿದಾಗ, ನಾವು ಅವುಗಳನ್ನು ಬ್ಯಾಕ್ಗ್ರೌಂಡ್ನಲ್ಲಿ ಪ್ರೊಸೆಸ್ ಮಾಡುತ್ತೇವೆ ಇದರಿಂದ ಆ್ಯಪ್ ವೇಗವಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ. • ಪಠ್ಯ ಕಾರ್ಯಗಳು (Text Tasks): ನಾವು ಟೋಕನ್ ಸ್ಟ್ರೀಮಿಂಗ್ ಅನ್ನು ಬಳಸುತ್ತೇವೆ. ಇದು ಉಡುಪಿನ ಸಲಹೆಯನ್ನು ಪದಬದಿಗೆ ತೋರಿಸುತ್ತದೆ, ಇದರಿಂದ ಬಳಕೆದಾರರು ಲೋಡಿಂಗ್ ಸ್ಕ್ರೀನ್ ನೋಡಿ ಕಾಯಬೇಕಾಗಿಲ್ಲ.
ಕಂಟಿನ್ಯೂಯಸ್ ಮಾನಿಟರಿಂಗ್ (Continuous Monitoring) ಕಾಲಾನಂತರದಲ್ಲಿ AI ಕಾರ್ಯಕ್ಷಮತೆ ಕಡಿಮೆಯಾಗಬಹುದು. ನಾವು ಮೂರು ವಿಷಯಗಳನ್ನು ಮೇಲ್ವಿಚಾರಣೆ ಮಾಡುತ್ತೇವೆ: • ಸಿಸ್ಟಮ್ ಕಾರ್ಯಕ್ಷಮತೆ: ವಿಳಂಬ (latency) ಹೆಚ್ಚಾಗುತ್ತಿದೆಯೇ? • ಡೇಟಾ ಡ್ರಿಫ್ಟ್ (Data Drift): ನಾವು ನಿರೀಕ್ಷಿಸದ ಹೊಸ ಫೋಟೋ ಫಾರ್ಮ್ಯಾಟ್ಗಳನ್ನು ಬಳಕೆದಾರರು ಅಪ್ಲೋಡ್ ಮಾಡುತ್ತಿದ್ದಾರೆಯೇ? • ಮಾಡೆಲ್ ನಿಖರತೆ: ಬಳಕೆದಾರರ ಬಳಿ ಇಲ್ಲದ ವಸ್ತುಗಳನ್ನು AI ಕಲ್ಪಿಸಿಕೊಳ್ಳಲು (hallucinate) ಪ್ರಾರಂಭಿಸುತ್ತಿದೆಯೇ?
ಫೀಡ್ಬ್ಯಾಕ್ ಲೂಪ್ (The Feedback Loop) ಸಿಸ್ಟಮ್ ತಪ್ಪುಗಳಿಂದ ಕಲಿಯಬೇಕು. ನಾವು ಬಳಕೆದಾರರ ತಿದ್ದುಪಡಿಗಳನ್ನು ಸಂಗ್ರಹಿಸುತ್ತೇವೆ ಮತ್ತು ಮಾಡೆಲ್ ಅನ್ನು ಮರು-ತರಬೇತಿಗೊಳಿಸಲು ಮತ್ತು ಸುಧಾರಿಸಲು ಆ ಡೇಟಾವನ್ನು ಮೊದಲ ಹಂತಕ್ಕೆ ಕಳುಹಿಸುತ್ತೇವೆ.
MLOps ಒಂದು ಅದ್ಭುತವಾದ ಡೆಮೋವನ್ನು ವೃತ್ತಿಪರ ಸಾಧನವನ್ನಾಗಿ ಪರಿವರ್ತಿಸುತ್ತದೆ.
Source: https://dev.to/saad4software/mlops-for-llm-a-case-study-on-dresscode-3joj
Optional learning community: https://t.me/GyaanSetuAi