Kurekebisha AI Observability katika Mastra

OpenTelemetry ndio kiwango cha kufuatilia mifumo ya kisasa. Traces za kawaida hufanya kazi kwa programu nyingi. Lakini hushindwa kwa programu za AI.

Unapojenga AI, unahitaji majibu mahususi: • Ni modeli gani ilizalisha matokeo? • Ulitumia mtoa huduma (provider) gani? • Umetumia tokeni ngapi? • Ni modeli gani ya embedding ilichakata nyaraka zako? • Gharama ya operesheni hiyo ilikuwa kiasi gani?

Maswali haya ni muhimu zaidi katika mifumo ya Retrieval-Augmented Generation (RAG).

Wakati nikichangia katika Mastra, niligundua pengo katika RAG embedding observability. Mastra ilitoa metadata kwa kazi nyingi za AI, lakini RAG embedding spans zilikuwa hazina sifa (attributes) za kawaida.

Zana za observability zilioniona operesheni ya embedding. Lakini hazikuelewa muktadha. Zilipitwa na maelezo ya modeli, taarifa za mtoa huduma, na matumizi ya tokeni.

Pipeline ya RAG hufuata hatua hizi: • Nyaraka (Documents) • Chunking • Model ya Embedding • Database ya Vector • Utafutaji wa Ufanani (Similarity Search) • Uzalishaji wa LLM

Hatua ya embedding ni muhimu sana. Ikiwa huna data hapa, kutatua matatizo ya utendaji (debugging performance) inakuwa vigumu.

OpenTelemetry hutumia kanuni za kimaana (semantic conventions) ili kuunda lugha ya pamoja. Badala ya kila zana kutumia majina ya kipekee, kila mtu anafuata kiwango kimoja. Hii inaruhusu zana kusoma sifa kama: • gen_ai.system • gen_ai.request.model • gen_ai.usage.input_tokens

Nilituma pull request ili kuoanisha data ya Mastra RAG embedding na viwango hivi vya OpenTelemetry.

Kazi hiyo ilijumuisha: • Kutoa (exporting) metadata ya modeli ya embedding • Kutoa taarifa za mtoa huduma • Kuoanisha vipimo vya matumizi ya tokeni • Kuoanisha sifa (attributes) na viwango vya kimataifa

Hii inaruhusu mifumo ya observability kuelewa embeddings bila kuhitaji kodi maalum.

Mifumo ya AI ya uzalishaji (production) inahitaji uwezo wa kuonekana (visibility). Unahitaji kujua ni modeli gani inasababisha ucheleweshaji (latency) au ni mtoa huduma gani anagharimu zaidi. Telemetry iliyosanifishwa hutoa majibu haya kiotomatiki.

Open source inafundisha somo kubwa. Si kila mchango mzuri huongeza kipengele kipya. Wakati mwingine kazi bora zaidi ni ile inayofanya mifumo iliyopo iwe rahisi kufuatilia na kuendesha.

Ikiwa unajenga miundombinu ya AI, usipuuze observability. Mifumo bora ya AI ina uwezo wa kufuatiliwa (observable).

Source: https://dev.to/akash_santra_3c96613546c6/fixing-ai-observability-how-i-added-genai-semantic-support-for-rag-embedding-spans-in-mastra-4db9

Optional learning community: https://t.me/GyaanSetuAi