நடைமுறையில் AI ஏஜென்ட்கள்: டிரேஸிலிருந்து (Trace) தோல்விகளைப் படித்தல்

உங்கள் AI ஏஜென்ட் செயலிழப்பதில்லை (crash). அது வெற்றியைத் தெரிவிக்கிறது. ஆனால் உங்கள் வங்கி கணக்கில் தவறு தெரிகிறது.

ரத்து செய்யப்படாத ஒரு ஆர்டருக்காகத் திரும்பப் பணம் (refund) அனுப்பப்பட்டது. வாடிக்கையாளரிடம் பொருளும் உள்ளது, பணமும் உள்ளது. ஏஜென்ட் தான் வேலையைச் செய்துவிட்டதாக நினைத்தது.

ஒரு பெரிய மாடலை (model) தேடிப் போகாதீர்கள். வெறும் 'retry loop'-ஐ மட்டும் சேர்க்காதீர்கள். இவை இரண்டும் வெறும் யூகங்களே.

அதற்குப் பதிலாக, டிரேஸைப் (trace) படியுங்கள். ஏஜென்ட் தான் என்ன செய்தது என்பதை ஏற்கனவே எழுதி வைத்துவிட்டது.

ஒரு சிறந்த புரொடக்ஷன் டிரேஸ் (production trace), லூப்பை (loop) படிப்படியாகப் பதிவு செய்ய வேண்டும். அது பின்வருவனவற்றைக் காட்ட வேண்டும்:

  • ஏஜென்ட் எதைக் கவனித்தது
  • அது என்ன முடிவு எடுத்தது
  • எந்தக் கருவியைப் (tool) பயன்படுத்தியது
  • அந்தத் கருவி என்ன பதிலளித்தது
  • உண்மைத் தரவிலிருந்து (source of truth) பெறப்பட்ட சரிபார்ப்புத் தகவல்
  • இறுதி நிலை மற்றும் செலவு

கருவியின் பதில் (tool response) மற்றும் சரிபார்ப்புத் தகவல் (verification read) ஆகியவற்றிற்கு இடையிலான இடைவெளியே மிக முக்கியமான பகுதி. ஒரு கருவி "ஏற்றுக்கொள்ளப்பட்டது" (accepted) என்று சொல்லலாம், ஆனால் அதற்கெல்லாம் உலகம் மாறிவிட்டது என்று அர்த்தமல்ல. அந்த மாற்றம் உண்மையில் நடந்ததா என்பதை சரிபார்ப்புத் தகவல் உங்களுக்குத் தெரிவிக்கும்.

தோல்விகள் பொதுவாக இரண்டு வகைகளாகப் பிரிக்கப்படுகின்றன:

  1. செயல்பாட்டுத் தோல்விகள் (Execution Failures)
  • கருவித் தோல்விகள்: தவறான ஆர்குமென்ட்கள் (arguments) அல்லது டைம்அவுட் (timeouts).
  • பகுத்தறிவுத் தோல்விகள்: மாடல் தவறான செயலைத் தேர்ந்தெடுத்தது.
  • கட்டுப்பாட்டு நிலைத் தோல்விகள்: ஏஜென்ட் ஒரு பொய்யை நம்புகிறது. டேட்டாபேஸ் (database) வேறொன்றைக் கூறினாலும், கருவி சொன்னதால் ஆர்டர் ரத்து செய்யப்பட்டுவிட்டது என்று அது நினைக்கிறது.
  1. கட்டமைப்பு லூப் தோல்விகள் (Structural Loop Failures)
  • சூழல் குறைபாடு (Context degradation): ஏஜென்ட் அதன் தொடர்ச்சியை இழக்கிறது.
  • லூப் ஓட்டம் (Loop runaway): ஏஜென்ட் முன்னேற்றம் இல்லாமல் ஒரே செயல்களைத் திரும்பத் திரும்பச் செய்கிறது.
  • அமைதியானத் தேக்கம் (Silent stalls): ஏஜென்ட் எந்தத் தவறு அறிவிப்பும் இன்றித் தங்கிவிடுகிறது. அமைதியை ஒரு தோல்வியாகக் கருத ஒரு 'watchdog' உங்களுக்குத் தேவை.

ஒரு தோல்வியைக் கண்டறியும்போது, வெறும் 'retry' மட்டும் செய்யாதீர்கள். 'Retry' என்பது ஒரு உத்தி (strategy), அது ஒரு நோய் கண்டறிதல் (diagnosis) அல்ல.

  • அது டைம்அவுட் போன்ற தற்காலிகத் தவறு என்றால், மீண்டும் முயற்சிக்கவும் (retry).
  • அது ஒரு லாஜிக் (logic) பிழை என்றால், மீண்டும் முயற்சிப்பது உங்கள் பட்ஜெட்டை வீணடித்து அதே தடையிலேயே மோதுவதற்குச் சமம்.
  • ஏஜென்ட் ஒரு தடையைச் சந்தித்தால், நிறுத்திவிட்டு ஒரு மனிதரிடம் தெரிவிக்கவும்.

ஒரு தோல்வியைச் சரிசெய்வதற்கான சிறந்த வழி, அதை ஒரு சோதனைப் பொருளாக (test) மாற்றுவதாகும்.

ஒரு கிரேடரை (grader) எழுத டிரேஸைப் பயன்படுத்துங்கள். ஒரு ஏஜென்ட் ரத்து செய்வதைச் சரிபார்க்கத் தவறினால், உறுதிப்படுத்தப்பட்ட ரத்து நிலை இல்லாமல் ரீஃபண்ட் (refund) நடந்தால் தோல்வியடையும் ஒரு சோதனையை எழுதுங்கள். நீங்கள் ஏற்கனவே பணம் செலுத்திச் சந்தித்த தோல்விகளை, மீண்டும் பணம் செலுத்தத் தேவையில்லாத தோல்விகளாக மாற்றுங்கள்.

Source: https://dev.to/gursharansingh/ai-agents-in-practice-part-7-when-the-loop-goes-wrong-reading-agent-failures-from-the-trace-5bdp

Optional learning community: https://t.me/GyaanSetuAi