Agentic AI-இல் Observability

பாரம்பரிய microservices, observability சிக்கலைத் தீர்த்துவிட்டன. Traces பாதைகளைக் காட்டுகின்றன. Metrics தாமதத்தைக் (latency) காட்டுகின்றன. Logs கதையைச் சொல்கின்றன.

Agentic AI இந்த மாதிரியை உடைக்கிறது.

ஒரு பயனரின் கேள்வி guardrails, session reads, பல LLM அழைப்புகள், இணையத் தேடல்கள் மற்றும் reasoning loops ஆகியவற்றைத் தூண்டக்கூடும். தோல்விகள் பெரும்பாலும் நுட்பமானவை. ஒரு கருவி (tool) மெதுவாக இருக்கலாம். ஒரு context window மிக அதிகமாக வளரலாம். ஒரு model பிழையைத் தெரிவிக்காமல், அதிகப்படியான சுமையின் கீழ் செயல்திறன் குறையலாம்.

இந்த அமைப்புகளை நாம் எவ்வாறு கண்காணிக்கலாம் என்பதைச் சோதிக்க, நான் சமீபத்தில் OpenTelemetry NBA Agent டெமோவை இயக்கினேன். நம்பகமான AI agents-களை உருவாக்குவது குறித்து நான் கற்றுக்கொண்டவை இதோ.

Agent Observability-இன் மூன்று தூண்கள்

• Traces, unit tests-களை விட அதிக மதிப்புடையவை. ஒரே prompt வெவ்வேறு முறைகளில் வெவ்வேறு பதில்களைத் தரலாம். நீங்கள் agent எடுத்த பாதையை மட்டுமே பார்க்க வேண்டும், இறுதி உரையை (text) மட்டும் அல்ல.

• நோக்கத்தையும் (intent) செயல்களையும் தொடர்புபடுத்துங்கள். வானிலை குறித்த கேள்விக்கு ஒரு வார்த்தை பதில் போதுமானது, ஆனால் நிதி ஆலோசனைகளுக்கு அது தோல்வியடையும். Guardrail முடிவுகளையும் கருவிப் பயன்பாட்டையும் பயனரின் நோக்கத்துடன் நீங்கள் இணைக்க வேண்டும்.

• ஆரம்பத்திலேயே baselines-களை உருவாக்குங்கள். Model மாற்றங்கள் மற்றும் API மாற்றங்கள் நடத்தையை மாற்றும். விஷயங்கள் மேம்பட்டுள்ளனவா அல்லது மோசமடைந்துள்ளனவா என்பதை அறிய, deployment-க்கு முன்னரே உங்களுக்கு metrics தேவை.

எதை அளவிட வேண்டும்?

நீங்கள் model அழைப்பை மட்டும் கண்காணிக்க முடியாது. நீங்கள் முழு சூழலையும் (ecosystem) instrument செய்ய வேண்டும்.

  1. The Model Layer Operation பெயர்கள், provider விவரங்கள் மற்றும் token பயன்பாட்டைக் கண்காணிக்கவும். கால அளவு (duration) மற்றும் முடிவிற்கான காரணங்களைக் (finish reasons) கண்காணிக்கவும்.

  2. Tools மற்றும் MCP Servers கருவிகளை microservices போலக் கருதவும். Latency, வெற்றி விகிதங்கள் மற்றும் arguments ஆகியவற்றைக் கண்காணிக்கவும். ஒரு agent மெதுவாக இருந்தால், அது பெரும்பாலும் ஒரு மெதுவான வெளிப்புற API-ஆக இருக்கலாம், LLM அல்ல.

  3. Guardrails Guardrails எவ்வளவு அடிக்கடி செயல்படுகின்றன மற்றும் எந்தத் தலைப்பின் கீழ் செயல்படுகின்றன என்பதை அளவிடவும். இது பாதுகாப்பு அடுக்குகளின் (safety layers) செலவை நிர்வாகத்திடம் நியாயப்படுத்த உதவும்.

  4. Memory மற்றும் Sessions Context அதிகரிப்பைக் (bloat) கவனியுங்கள். ஒவ்வொரு முறையும் (turn) அதிகரிக்கும் input token எண்ணிக்கை, மிகப்பெரிய செலவு உயர்வுக்கு வழிவகுக்கும்.

உங்கள் Dashboard-க்கான முக்கிய Metrics

• Latency: Time to First Token (TTFT) மற்றும் end-to-end turn latency. • Cost: மொத்த tokens மற்றும் ஒரு session-க்கான மதிப்பிடப்பட்ட செலவு. • Reliability: Span kind-ன் அடிப்படையில் பிழை விகிதங்கள் (LLM vs Tool vs HTTP). • Behavior: Agent loop ஆழம் மற்றும் tool call அதிர்வெண்.

Agentic AI என்பது ஒரு distributed system ஆகும், இதில் planner என்பது நிகழ்தகவு (probabilistic) அடிப்படையிலானது. முழு agent loop-ஐயும் உங்களால் பார்க்க முடியாவிட்டால், அதை production-இல் இயக்க முடியாது.

Source: https://dev.to/archcode01/observability-in-agentic-ai-what-i-learned-after-instrumenting-a-real-llm-agent-with-opentelemetry-4h1

விருப்பமான கற்றல் சமூகம்: https://t.me/GyaanSetuAi