𝗠𝗮𝘀𝘁𝗿𝗮 માં 𝗔𝗜 𝗢𝗯𝘀𝗲𝗿𝘃𝗮𝗯𝗶𝗹𝗶𝘁𝘆 ને સુધારવું

OpenTelemetry એ આધુનિક સિસ્ટમોનું મોનિટરિંગ કરવા માટેનું સ્ટાન્ડર્ડ છે. પરંપરાગત traces મોટાભાગના સોફ્ટવેર માટે કામ કરે છે, પરંતુ AI એપ્લિકેશન્સ માટે તે નિષ્ફળ જાય છે.

જ્યારે તમે AI બનાવો છો, ત્યારે તમારે ચોક્કસ જવાબોની જરૂર હોય છે: • કયા મોડેલે આઉટપુટ જનરેટ કર્યું? • તમે કયા પ્રોવાઈડરનો ઉપયોગ કર્યો? • તમે કેટલા ટોકન્સનો ઉપયોગ કર્યો? • કયા embedding મોડેલે તમારા ડોક્યુમેન્ટ્સ પ્રોસેસ કર્યા? • ઓપરેશનનો ખર્ચ કેટલો હતો?

Retrieval-Augmented Generation (RAG) સિસ્ટમ્સમાં આ પ્રશ્નો સૌથી વધુ મહત્વના છે.

Mastra માં યોગદાન આપતી વખતે, મને RAG embedding observability માં એક ખામી જોવા મળી. Mastra ઘણા AI કાર્યો માટે metadata એક્સપોર્ટ કરતું હતું, પરંતુ RAG embedding spans માં સ્ટાન્ડર્ડ attributes નો અભાવ હતો.

Observability ટૂલ્સ એમ્બેડિંગ ઓપરેશન જોઈ શકતા હતા, પરંતુ તેઓ સંદર્ભ (context) સમજી શકતા નહોતા. તેઓ મોડેલની વિગતો, પ્રોવાઈડરની માહિતી અને ટોકન વપરાશને ચૂકી જતા હતા.

એક RAG પાઇપલાઇન આ સ્ટેપ્સ અનુસરે છે: • Documents • Chunking • Embedding Model • Vector Database • Similarity Search • LLM Generation

એમ્બેડિંગ સ્ટેજ અત્યંત મહત્વપૂર્ણ છે. જો તમારી પાસે અહીં ડેટાનો અભાવ હોય, તો પર્ફોર્મન્સનું debugging કરવું મુશ્કેલ બની જાય છે.

OpenTelemetry એક સામાન્ય ભાષા બનાવવા માટે semantic conventions નો ઉપયોગ કરે છે. દરેક ટૂલ કસ્ટમ નામોનો ઉપયોગ કરવાને બદલે, દરેક એક સ્ટાન્ડર્ડને અનુસરે છે. આનાથી ટૂલ્સ નીચે મુજબના attributes વાંચી શકે છે: • gen_ai.system • gen_ai.request.model • gen_ai.usage.input_tokens

મેં Mastra RAG embedding ડેટાને આ OpenTelemetry સ્ટાન્ડર્ડ્સ સાથે મેપ કરવા માટે એક pull request સબમિટ કરી.

આ કામમાં નીચેનાનો સમાવેશ થાય છે: • Embedding મોડેલ metadata એક્સપોર્ટ કરવું • પ્રોવાઈડરની માહિતી એક્સપોર્ટ કરવી • ટોકન વપરાશના મેટ્રિક્સને મેપ કરવા • Attributes ને વૈશ્વિક સ્ટાન્ડર્ડ્સ સાથે સુસંગત કરવા

આનાથી observability સિસ્ટમ્સ કસ્ટમ કોડ વગર embeddings ને સમજી શકે છે.

પ્રોડક્શન AI સિસ્ટમ્સમાં વિઝિબિલિટીની જરૂર હોય છે. તમારે જાણવાની જરૂર છે કે કયું મોડેલ latency પેદા કરે છે અથવા કયો પ્રોવાઈડર સૌથી વધુ ખર્ચાળ છે. સ્ટાન્ડર્ડાઇઝ્ડ telemetry આ જવાબો આપમેળે પૂરા પાડે છે.

ઓપન સોર્સ એક મહાન પાઠ શીખવે છે. દરેક સારું યોગદાન નવું ફીચર ઉમેરતું નથી. ક્યારેક શ્રેષ્ઠ કામ હાલની સિસ્ટમોને મોનિટર અને ચલાવવી સરળ બનાવે છે.

જો તમે AI ઇન્ફ્રાસ્ટ્રક્ચર બનાવો છો, તો observability ને અવગણશો નહીં. શ્રેષ્ઠ AI સિસ્ટમ્સ observable હોય છે.

Source: https://dev.to/akash_santra_3c96613546c6/fixing-ai-observability-how-i-added-genai-semantic-support-for-rag-embedding-spans-in-mastra-4db9

Optional learning community: https://t.me/GyaanSetuAi