إصلاح قابلية المراقبة (Observability) للذكاء الاصطناعي في Mastra

يُعد OpenTelemetry المعيار القياسي لمراقبة الأنظمة الحديثة. تعمل التتبعات (traces) التقليدية مع معظم البرمجيات، لكنها تفشل مع تطبيقات الذكاء الاصطناعي.

عندما تقوم ببناء ذكاء اصطناعي، فأنت بحاجة إلى إجابات محددة: • أي نموذج قام بإنشاء المخرجات؟ • أي مزود استخدمت؟ • كم عدد الرموز (tokens) التي استهلكتها؟ • أي نموذج تضمين (embedding model) قام بمعالجة مستنداتك؟ • ما هي تكلفة العملية؟

هذه الأسئلة هي الأكثر أهمية في أنظمة التوليد المعزز بالاسترجاع (RAG).

أثناء مساهمتي في Mastra، وجدت فجوة في قابلية مراقبة تضمين RAG. كانت Mastra تصدر البيانات الوصفية (metadata) للعديد من مهام الذكاء الاصطناعي، لكن نطاقات (spans) تضمين RAG كانت تفتقر إلى السمات القياسية.

كانت أدوات المراقبة ترى عملية التضمين، لكنها لم تكن تفهم السياق؛ حيث كانت تفتقر إلى تفاصيل النموذج، ومعلومات المزود، واستخدام الرموز (tokens).

يتبع مسار عمل RAG الخطوات التالية: • المستندات (Documents) • التجزئة (Chunking) • نموذج التضمين (Embedding Model) • قاعدة بيانات متجهة (Vector Database) • البحث عن التشابه (Similarity Search) • توليد LLM

مرحلة التضمين حيوية للغاية. إذا كنت تفتقر إلى البيانات هنا، فستصبح عملية تصحيح أداء النظام صعبة.

يستخدم OpenTelemetry اصطلاحات دلالية (semantic conventions) لإنشاء لغة مشتركة. فبدلاً من استخدام كل أداة لأسماء مخصصة، يتبع الجميع معياراً واحداً. وهذا يتيح للأدوات قراءة سمات مثل: • gen_ai.system • gen_ai.request.model • gen_ai.usage.input_tokens

لقد قدمت طلب سحب (pull request) لربط بيانات تضمين RAG في Mastra بمعايير OpenTelemetry هذه.

شمل العمل ما يلي: • تصدير البيانات الوصفية لنموذج التضمين • تصدير معلومات المزود • ربط مقاييس استخدام الرموز (tokens) • مواءمة السمات مع المعايير العالمية

يتيح ذلك لأنظمة المراقبة فهم عمليات التضمين دون الحاجة إلى كود مخصص.

تحتاج أنظمة الذكاء الاصطناعي في بيئة الإنتاج إلى الوضوح (visibility). يجب أن تعرف أي نموذج يسبب التأخير (latency) أو أي مزود هو الأكثر تكلفة. توفر القياسات عن بُعد (telemetry) الموحدة هذه الإجابات تلقائياً.

يعلمنا المصدر المفتوح درساً عظيماً؛ فليست كل مساهمة جيدة تضيف ميزة جديدة. أحياناً يكون أفضل عمل هو الذي يجعل الأنظمة الحالية أسهل في المراقبة والتشغيل.

إذا كنت تبني بنية تحتية للذكاء الاصطناعي، فلا تتجاهل قابلية المراقبة (observability). أفضل أنظمة الذكاء الاصطناعي هي الأنظمة القابلة للمراقبة.

Source: https://dev.to/akash_santra_3c96613546c6/fixing-ai-observability-how-i-added-genai-semantic-support-for-rag-embedding-spans-in-mastra-4db9

Optional learning community: https://t.me/GyaanSetuAi