Microsoft ની Foundry ટીમે તેના એજન્ટ ફ્રેમવર્ક (agent framework) માં OpenTelemetry-આધારિત ટ્રેસિંગ (tracing) ઉમેર્યું છે, જે ડેવલપર્સને વિવિધ પ્રકારના LLM-સંચાલિત એજન્ટ્સમાં એન્ડ-ટુ-એન્ડ એક્ઝિક્યુશન જોવાની રીત આપે છે.

શા માટે મલ્ટી-એજન્ટ સિસ્ટમ્સને લોગ ફાઇલો કરતાં વધુની જરૂર છે

એક સામાન્ય AI-સંચાલિત ઇન્સિડન્ટ-રિસ્પોન્સ ડ્રિલમાં કમાન્ડર એજન્ટનો ઉપયોગ થાય છે જે અનેક સ્પેશિયાલિસ્ટ એજન્ટ્સનું સંચાલન કરે છે: એક લોગ્સનું વિશ્લેષણ કરે છે, બીજું મેટ્રિક વિસંગતતાઓ (anomalies) શોધે છે, ત્રીજું લક્ષણોને રનબુક્સ સાથે મેચ કરે છે, અને એક રાઉટર દરેક સબ-ટાસ્ક માટે શ્રેષ્ઠ લેંગ્વેજ મોડેલ પસંદ કરે છે. દરેક સ્પેશિયાલિસ્ટ અલગ-અલગ મોડેલ—ધારો કે, “gpt-5-mini” વેરિઅન્ટ—નો ઉપયોગ કરી શકે છે અને તેના પોતાના ટૂલ્સનો ઉપયોગ કરી શકે છે. જ્યારે કંઈક ખોટું થાય છે, ત્યારે એન્જિનિયરો અલગ-અલગ લોગ્સ જુએ છે જે દર્શાવે છે કે દરેક ઘટકે શું કર્યું, પરંતુ તે ભાગો એકબીજા સાથે કેવી રીતે જોડાયેલા છે તેનો કોઈ દૃશ્ય (view) મળતો નથી.

એક યુનિફાઇડ ટ્રેસ (unified trace) વગર, મૂળ કારણ (root cause) એજન્ટ્સ વચ્ચેના હેન્ડ-ઓફમાં છુપાયેલું રહે છે. કદાચ કમાન્ડર એવો રિક્વેસ્ટ મોકલે છે જેને લોગ-રીડર યોગ્ય રીતે હેન્ડલ કરે છે, છતાં મેટ્રિક સ્પેશિયાલિસ્ટ ડેટાનું ખોટું અર્થઘટન કરે છે અને ખોટું રનબુક સૂચવે છે. આ ચેઇનને મેન્યુઅલી ડિબગ કરવામાં સમય લાગે છે અને ભૂલ થવાની શક્યતા રહે છે.

OpenTelemetry કેવી રીતે વર્કફ્લોને એકસાથે જોડે છે

OpenTelemetry બે મુખ્ય ખ્યાલો વ્યાખ્યાયિત કરે છે: traces અને spans. ટ્રેસ (trace) એ એક યુનિક આઈડેન્ટિફાયર છે જે રિક્વેસ્ટના પ્રવેશથી લઈને અંતિમ પ્રતિસાદ સુધી તેને અનુસરે છે. સ્પેન (span) તે ટ્રેસની અંદર એક સિંગલ ઓપરેશનને રેકોર્ડ કરે છે—જેમ કે લેંગ્વેજ મોડેલને કરવામાં આવેલી કોલ અથવા ટૂલ ઇવોકેશન.

જ્યારે કોઈ એજન્ટ રિક્વેસ્ટ મેળવે છે, ત્યારે તે રિક્વેસ્ટના મેટાડેટામાંથી ઇનકમિંગ Trace ID મેળવે છે અને એક ચાઇલ્ડ સ્પેન (child span) બનાવે છે જે તે જ ID વારસામાં મેળવે છે. ચાઇલ્ડ સ્પેન તેનો સ્ટાર્ટ ટાઇમ, ડ્યુરેશન, એટ્રિબ્યુટ્સ (મોડેલનું નામ, વપરાયેલ ટૂલ) અને કોઈપણ ભૂલોને લોગ કરે છે. આ પ્રક્રિયા દરેક ડાઉનસ્ટ્રીમ એજન્ટ માટે પુનરાવર્તિત થાય છે, જે એક એવું વૃક્ષ (tree) બનાવે છે જે સમગ્ર કાર્યના લોજિકલ ફ્લોને પ્રતિબિંબિત કરે છે.

OpenTelemetry Baggage ને પણ સપોર્ટ કરે છે, જે કસ્ટમ કી-વેલ્યુ જોડીઓ માટે એક લાઇટવેઇટ કેરિયર છે. ટ્રેસના ટોચ પર બેગેજમાં “drill-id” અથવા અન્ય બિઝનેસ કોન્ટેક્સ્ટ જોડીને, દરેક ડાઉનસ્ટ્રીમ સ્પેન આપમેળે તે આઈડેન્ટિફાયર મેળવે છે. ત્યારબાદ એક સ્પેન પ્રોસેસર બેગેજને રેગ્યુલર એટ્રિબ્યુટ્સમાં રૂપાંતરિત કરે છે, જેનાથી કોઈ ચોક્કસ ઇન્સિડન્ટ ડ્રિલના તમામ સ્પેન્સને ક્વેરી કરવી સરળ બને છે.

નવું ટ્રેસિંગ સફેસ કેવું દેખાય છે

ઇન્સ્ટ્રુમેન્ટેશન તૈયાર હોવાથી, Azure Monitor (અથવા કોઈપણ OpenTelemetry-સુસંગત બેકએન્ડ) એક વિઝ્યુઅલ હાયરાર્કી રજૂ કરે છે:

  • Agent name / ID – કયું ઘટક ઓપરેશન કરી રહ્યું છે તે દર્શાવે છે.
  • Tool usage – કઈ એક્સટર્નલ સર્વિસ અથવા ફંક્શનને કોલ કરવામાં આવ્યું હતું તે રેકોર્ડ કરે છે.
  • Model version – વપરાયેલ ચોક્કસ LLM ને લોગ કરે છે, જે મોડેલ અપગ્રેડ પછી રિગ્રેસન્સ (regressions) ટ્રેક કરવા માટે ઉપયોગી છે.
  • Token consumption – મોડેલને કેટલા ટોકન્સ મોકલવામાં આવ્યા અને મોડેલ પાસેથી કેટલા ટોકન્સ પ્રાપ્ત થયા તે કેપ્ચર કરે છે, જે ટીમોને ખર્ચ મેનેજ કરવામાં મદદ કરે છે.
  • Latency / duration – બોટલનેક (bottlenecks) ક્યાં દેખાય છે તે હાઇલાઇટ કરે છે, પછી તે મોડેલ ઇન્ફરન્સમાં હોય કે ટૂલ I/O માં.

ઇન્સિડન્ટ-ડ્રિલના ઉદાહરણમાં, કમાન્ડરનું રૂટ સ્પેન દરેક સ્પેશિયાલિસ્ટ માટે ચાઇલ્ડ સ્પેન બનાવે છે, અને દરેક સ્પેશિયાલિસ્ટ તેના મોડેલ કોલ્સ માટે વધુ ચાઇલ્ડ સ્પેન બનાવે છે. કોઈપણ નોડ પર ક્લિક કરવાથી સંપૂર્ણ એટ્રિબ્યુટ સેટ દેખાય છે, જેથી એન્જિનિયર તરત જ દરેક ઓપરેશનની વિગતો જોઈ શકે છે.

AI-કેન્દ્રિત કામગીરી માટેના જોખમો અને ફાયદા

  • Root-cause analysis ની ઝડપ – ટીમો નિષ્ફળતાને તે ચોક્કસ સ્પેન સુધી ટ્રેસ કરી શકે છે જેણે એરર આપી હતી, જેનાથી રિઝોલ્યુશનનો સરેરાશ સમય (mean time to resolution) ઘટે છે.
  • ખર્ચની વિઝિબિલિટી – ટોકન કાઉન્ટ લેટન્સીની સાથે જોવા મળે છે, જેનાથી ફાઇનાન્સ ટીમ ક્લાઉડ બિલ વધતા પહેલા વપરાશ પર નજર રાખી શકે છે.
  • પરફોર્મન્સ ટ્યુનિંગ – એજન્ટ્સમાં હાઇ-લેટન્સી સ્પેન્સ એવા પોઈન્ટ્સ સૂચવે છે જ્યાં કેશિંગ (caching), મોડેલ પસંદગી અથવા ટૂલ રીડિઝાઇન થ્રુપુટ વધારી શકે છે.

આગળ શું જોવું

LangChain, OpenAI SDK અથવા અન્ય ઓર્કેસ્ટ્રેશન લેયર્સ પર બનેલા પ્રોજેક્ટ્સ GenAI માટે સમાન સેમેન્ટિક કન્વેન્શન્સ અપનાવી શકે છે, જે ક્લાઉડ પ્રોવાઇડર્સ અને ઓન-પ્રેમિસ ડિપ્લોયમેન્ટ્સમાં વહેતા ટ્રેસ માટે માર્ગ મોકળો કરે છે.

સંસ્થાઓએ ફક્ત તેમના એજન્ટ્સમાં OpenTelemetry SDK ઇનેબલ કરવાનું છે અને ડેટા Azure Monitor અથવા ઓપન-સોર્સ કલેક્ટરને મોકલવાનો છે.

સારાંશ

OpenTelemetry મલ્ટી-એજન્ટ AI સિસ્ટમ્સને તે ખૂટતી કડી (glue) પૂરી પાડે છે જે વિખરાયેલા લોગ્સને એક સુસંગત વિવરણમાં ફેરવે છે. વિવિધ પ્રકારના LLMs, રાઉટર્સ અને ટૂલ કોલ્સમાં સિંગલ Trace ID ને ફેલાવીને, ડેવલપર્સ ટ્રેસિંગ ઇન્ફ્રાસ્ટ્રક્ચરને ફરીથી બનાવ્યા વગર નિષ્ફળતાઓ શોધી શકે છે, ખર્ચનું મોનિટરિંગ કરી શકે છે અને પરફોર્મન્સને ઓપ્ટિમાઇઝ કરી શકે છે.