Mastra मध्ये AI Observability सुधारणे

आधुनिक प्रणालींच्या मॉनिटरिंगसाठी OpenTelemetry हे एक मानक आहे. पारंपारिक traces बहुतेक सॉफ्टवेअरसाठी उपयुक्त ठरतात, परंतु AI ॲप्लिकेशन्ससाठी ते अपयशी ठरतात.

जेव्हा तुम्ही AI तयार करता, तेव्हा तुम्हाला काही विशिष्ट उत्तरे हवी असतात: • आउटपुट कोणत्या मॉडेलने तयार केले? • तुम्ही कोणता प्रदाता (provider) वापरला? • तुम्ही किती टोकन्स वापरले? • तुमच्या डॉक्युमेंट्सवर कोणत्या embedding मॉडेलने प्रक्रिया केली? • या ऑपरेशनचा खर्च किती होता?

Retrieval-Augmented Generation (RAG) सिस्टम्समध्ये हे प्रश्न अत्यंत महत्त्वाचे ठरतात.

Mastra मध्ये योगदान देताना, मला RAG embedding observability मध्ये एक त्रुटी आढळली. Mastra अनेक AI कामांसाठी metadata एक्सपोर्ट करत होते, परंतु RAG embedding spans मध्ये मानक ॲट्रिब्युट्सचा (standard attributes) अभाव होता.

Observability टूल्सना embedding ऑपरेशन दिसत होते, परंतु त्यांना त्याचा संदर्भ (context) समजत नव्हता. त्यामुळे मॉडेलचे तपशील, प्रदाता माहिती आणि टोकन वापर या गोष्टी त्यांच्याकडून सुटत होत्या.

RAG pipeline खालील पायऱ्यांचे अनुसरण करते: • डॉक्युमेंट्स (Documents) • चंकिंग (Chunking) • Embedding Model • Vector Database • Similarity Search • LLM Generation

Embedding टप्पा अत्यंत महत्त्वाचा आहे. जर तुमच्याकडे येथे डेटा नसेल, तर परफॉर्मन्स डिबग करणे कठीण होते.

OpenTelemetry एक सामायिक भाषा तयार करण्यासाठी semantic conventions वापरते. प्रत्येक टूलने स्वतःची नावे वापरण्याऐवजी, सर्वजण एकाच मानकाचे पालन करतात. यामुळे टूल्स खालीलप्रमाणे ॲट्रिब्युट्स वाचू शकतात: • gen_ai.system • gen_ai.request.model • gen_ai.usage.input_tokens

मी Mastra RAG embedding डेटा या OpenTelemetry मानकांशी मॅप करण्यासाठी एक pull request सबमिट केली.

या कामामध्ये खालील गोष्टींचा समावेश होता: • Embedding मॉडेलचा metadata एक्सपोर्ट करणे • प्रदाता माहिती (provider information) एक्सपोर्ट करणे • टोकन वापराचे मेट्रिक्स मॅप करणे • ॲट्रिब्युट्स जागतिक मानकांशी सुसंगत करणे

यामुळे observability सिस्टम्स कोणत्याही कस्टम कोडशिवाय embeddings समजू शकतात.

प्रोडक्शन AI सिस्टम्सना व्हिजिबिलिटीची (visibility) गरज असते. कोणत्या मॉडेलमुळे लॅटन्सी (latency) निर्माण होत आहे किंवा कोणता प्रदाता सर्वाधिक खर्च घेत आहे, हे तुम्हाला माहित असणे आवश्यक आहे. प्रमाणित टेलिमेट्री (Standardized telemetry) ही उत्तरे आपोआप प्रदान करते.

ओपन सोर्स एक मोठा धडा शिकवते. प्रत्येक चांगले योगदान नवीन फीचर जोडत नाही. कधीकधी सर्वोत्तम काम म्हणजे अस्तित्वात असलेल्या सिस्टम्सचे मॉनिटरिंग आणि संचालन अधिक सोपे करणे हे असते.

जर तुम्ही AI इन्फ्रास्ट्रक्चर तयार करत असाल, तर observability कडे दुर्लक्ष करू नका. सर्वोत्तम AI सिस्टम्स या observable असतात.

स्रोत: https://dev.to/akash_santra_3c96613546c6/fixing-ai-observability-how-i-added-genai-semantic-support-for-rag-embedding-spans-in-mastra-4db9

ऐच्छिक लर्निंग कम्युनिटी: https://t.me/GyaanSetuAi