ஏஜென்டிக் மீட்டிரிவல் (Agentic retrieval) என்பது பாரம்பரிய மீட்டிரிவல்-ஆக்மென்டட் ஜெனரேஷன் (RAG) பைப்லைன்களுக்குப் பிந்தைய அடுத்த கட்டமாகப் பார்க்கப்படுகிறது. இது மாயத்தோற்றங்களை (hallucinations) நிறுத்தி, தகவல்களை எவ்வாறு பெறுவது என்பதைப் பற்றி "சிந்திக்கும்" உற்பத்தித் தர AI அமைப்புகளைக் கொண்டு வரும் என்று வாக்குறுதி அளிக்கிறது. ஒரு பெரிய ஆவணத் தொகுப்பில் உள்ள வினவலுக்குப் பதிலளிப்பதற்கான செலவை, முழுத் தரவுத் தொகுப்பையும் (corpus) ஒரு மாடலின் கான்டெக்ஸ்ட் விண்டோவிற்குள் (context window) செலுத்துவதை விட 82 மடங்கு வரை குறைக்க இந்த அணுகுமுறை உதவும் என்று ஆதரவாளர்கள் கூறுகின்றனர்; இது ஜெனரேட்டிவ் AI-ஐ விரிவாக்கும் எந்தவொரு வணிகத்திற்கும் முக்கியமான சேமிப்பாகும்.

பழைய RAG பைப்லைன் ஏன் போதாது

பாரம்பரிய RAG பணிப்பாய்வு ஒரு நிலையான வரிசையைக் கொண்டது: ஆவணங்களை துண்டுகளாகப் பிரித்தல், ஒவ்வொரு துண்டையும் ஒரு டென்ஸ் வெக்டர் ஸ்பேஸில் (dense vector space) எம்பெட் (embed) செய்தல், பின்னர் பயனர் வினவலுக்கான அதிக மதிப்பெண் பெற்ற வெக்டர்களைப் எடுத்தல். டெமோக்களில் இந்த முறை நேர்த்தியாகத் தோன்றலாம்—மாடல் சில "பொருத்தமான" பகுதிகளைப் பெற்று நம்பிக்கையுடன் பதிலளிக்கும். இருப்பினும், நடைமுறைப் பயன்பாட்டில் (production), அந்த நம்பிக்கை பெரும்பாலும் தவறானதாகவே இருக்கும்.

மூன்று அமைப்பு ரீதியான குறைபாடுகள் இந்தப் பிரச்சனையைத் தூண்டுகின்றன:

  • வெக்டர் ஒற்றுமை ≠ பொருத்தப்பாடு (Vector similarity ≠ relevance). இரண்டு பகுதிகள் கணித ரீதியாக நெருக்கமாக இருக்கலாம், ஆனால் அவை முரண்பட்ட உண்மைகளை வெளிப்படுத்தலாம், இது மாடல் தவறான கூற்றைக் குறிப்பிட வழிவகுக்கும்.
  • துண்டாக்குதல் உண்மைகளை உடைக்கிறது (Fragmentation breaks facts). நிலையான துண்டாக்குதல் முறை (fixed chunking) ஒரு தனித் தகவலைப் பாதியாகப் பிரித்துவிடும். மாடலுக்கு ஒரு பகுதி மட்டுமே கிடைத்தால், விடுபட்ட பகுதியை அது மீண்டும் உருவாக்க முடியாது.
  • குழப்பமான வினவல்கள் (Messy queries). நிஜ உலகக் கேள்விகள் பெரும்பாலான எம்பெடிங் மாடல்களின் (embedding models) பயிற்சித் தரவிலிருந்து மாறுபடுகின்றன, எனவே ஒற்றுமைத் தேடல் (similarity search) தொடர்பற்ற துண்டுகளைத் திருப்பித் தருகிறது.

பைப்லைன் தவறான சூழலைத் (context) திருப்பித் தரும்போது, கீழ்நிலை மொழி மாடல் (downstream language model) ஒரு பதிலை உருவாக்கும், அது பெரும்பாலும் அதிக உறுதியுடன் இருக்கும், மேலும் சிஸ்டம் எந்தத் தவறு செய்ததையும் சுட்டிக்காட்டாது. இதன் விளைவாக "அமைதியான மாயத்தோற்றம்" (silent hallucination) ஏற்படுகிறது—இது நேரடிச் சேவையில் கண்டறிவதற்கு கடினமான ஒரு அமைதியான தோல்வியாகும்.

ஹைப்ரிட் மீட்டிரிவல்: ஒரு படிப்படியான தீர்வு

இதற்குப் பொதுவான பதில், டென்ஸ் வெக்டர்களுக்கு மேல் கீவேர்ட் தேடலை (keyword search) அடுக்குவதாகும், இது எம்பெடிங்ஸால் விடுபட்ட துல்லியமான சொல்ப் பொருத்தங்களைக் கண்டறியக்கூடிய ஒரு ஹைப்ரிட் மீட்டிரிவலை (hybrid retriever) உருவாக்குகிறது. ரீரேன்க்கரை (reranker)—கற்ற பொருத்த மதிப்பெண்ணின் அடிப்படையில் மீட்டெடுக்கப்பட்ட பட்டியலை மறுவரிசைப்படுத்தும் இரண்டாவது மாடல்—சேர்ப்பது துல்லியத்தை மேலும் மேம்படுத்துகிறது.

ஹைப்ரிட் மீட்டிரிவல் இன்னும் ஒரு நிலையான ஸ்கிரிப்டையே பின்பற்றுகிறது: கடினத்தன்மை அல்லது நிச்சயமற்ற தன்வைப் பொருட்படுத்தாமல், ஒவ்வொரு வினவும் ஒரே தொடர்ச்சியான படங்களைத் தூண்டுகிறது. ஒரு சிக்கலான கேள்வியை துணை கேள்விகளாக எவ்வாறு உடைப்பது அல்லது மீட்டெடுக்கப்பட்ட ஒரு துண்டு போதுமானதா இல்லையா என்பதைத் தீர்மானிக்க இந்த பைப்லைனால் முடியாது.

ஏஜென்டிக் மீட்டிரிவல் தேடலை ஒரு முடிவெடுக்கும் செயல்முறையாகக் கருதுகிறது

ஏஜென்டிக் மீட்டிரிவல் இந்தப் பிரச்சனையை ஒரு மனித ஆராய்ச்சியாளரைப் போலவே செயல்படும் தன்னாட்சி "ஏஜென்ட்" (autonomous agent) எடுக்கும் தொடர்ச்சியான முடிவுகளாக மறுவரையறை செய்கிறது. அந்த ஏஜென்ட்டால் பின்வருவனவற்றைச் செய்ய முடியும்:

  • வினவலை மாற்றி எழுதுதல் (Rewrite the query). தேடுவதற்கு முன், அது பேச்சுவழக்கு அல்லது தெளிவற்ற வார்த்தைகளைச் சீரமைக்கிறது, இதன் மூலம் மீட்டிரிவல் மாடல்கள் நோக்கத்தைப் புரிந்துகொள்வதற்கான வாய்ப்பை மேம்படுத்துகிறது.
  • மீட்டிரிவல் தேவையா என்று கேட்டல். நேரடியான வினவல்களுக்கு, ஏஜென்ட் நேரடியாகப் பதிலளிக்கிறது, இதன் மூலம் டோக்கன்களைச் (tokens) சேமிப்பதோடு தேவையற்ற இரைச்சலையும் தவிர்க்கிறது.
  • பல படிநிலைத் தேடலைத் திட்டமிடுதல். சிக்கலான கேள்விகள் சிறிய துணை கேள்விகளாகப் பிரிக்கப்படுகின்றன, ஒவ்வொன்றும் தனித்தனியாகத் தேடப்பட்டு, பின்னர் மீண்டும் இணைக்கப்படுகின்றன.
  • சுய திருத்தம் செய்தல் (Self-correct). ஆரம்ப முடிவு பலவீனமாகத் தெரிந்தால்—உதாரணமாக, குறைந்த நம்பிக்கைப் புள்ளிகள் அல்லது முரண்பட்ட சான்றுகள்—ஏஜென்ட் வினவலை வேறு ஒரு வடிவத்துடன் மீண்டும் வெளியிடுகிறது அல்லது தேடல் வரம்பை விரிவுபடுத்துகிறது.

செலவு குறித்த வாதங்கள்: நீண்ட கான்டெக்ஸ்ட் vs மீட்டிரிவல்

மிகப் பெரிய கான்டெக்ஸ்ட் விண்டோக்கள் மீட்டிரிவலைத் தேவையில்லாததாக ஆக்கிவிடும் என்று சில விமர்சகர்கள் வாதிடுகின்றனர். இதற்குப் பதிலாக முன்வைக்கப்படும் நடைமுறை வாதம் என்னவென்றால்: ஒரு மாடலின் கான்டெக்ஸ்டிற்குள் ஒரு பிரம்மாண்டமான தரவுத் தொகுப்பைத் திணிப்பது, ஒரு குறிப்பிட்ட மீட்டிரிவலை விட பல மடங்கு அதிக செலவை ஏற்படுத்தும். பெரிய தரவுத் தொகுப்புகளுக்கு மீட்டிரிவல் 8 முதல் 82 மடங்கு மலிவானது என்று மதிப்பீடுகள் கூறுகின்றன, அதே நேரத்தில் துல்லியமான பதில்களுக்குத் தேவையான சூழல் சார்ந்த ஆதாரங்களையும் வழங்குகிறது. சிறிய, தேர்ந்தெடுக்கப்பட்ட ஆவணங்களின் தொகுப்பில் நுணுக்கமான பகுப்பாய்விற்கு நீண்ட கான்டெக்ஸ்ட் விண்டோக்கள் பயனுள்ளதாக இருக்கும், ஆனால் அவை அளவிடக்கூடிய தேடலுக்கு (scalable search) மாற்றாக முடியாது.

வெளிப்படைத்தன்மை மற்றும் சரிபார்ப்பு

உற்பத்தித் தரத்திலான (production-grade) ஒரு AI உதவியாளர் தனது ஆதாரங்களை வெளிப்படுத்த வேண்டும். ஏஜென்டிக் மீட்டிரிவல் ஒவ்வொரு கூற்றுக்கும் ஒரு மேற்கோளை (citation) இணைக்க முடியும், இது ஒரு மனித ஆய்வாளர் உண்மைச் சரிபார்ப்புப் பாதையைச் சரிபார்க்க அனுமதிக்கிறது. இந்த "உழைப்பைக் காட்டுங்கள்" (show-your-work) அணுகுமுறை நம்பிக்கையை உருவாக்குகிறது மற்றும் ஏஜென்ட் எதிர்காலத் தொடர்புகளில் தவிர்க்கக் கற்றுக்கொள்ளக்கூடிய பலவீனமான மீட்டிரிவல் பாதைகளை வெளிச்சத்திற்கு கொண்டு வருகிறது.

அடுத்து கவனிக்க வேண்டியவை

  • கருவிகள் (Tooling).
  • மதிப்பீட்டுத் தரநிலைகள் (Evaluation standards).
  • நிறுவன முன்னோடித் திட்டங்கள் (Enterprise pilots).

சுருக்கம்

ஏஜென்டிக் மீட்டிரிவல் பல டெமோக்களில் ஆதிக்கம் செலுத்தும் நிலையான, பிழையprone RAG பைப்லைன்களுக்கு அப்பால் செல்கிறது. ஒரு AI சிஸ்டம் எப்போது மற்றும் எப்படித் தேட வேண்டும் என்பதைத் தீர்மானிக்க அனுமதிப்பதன் மூலம், இது டோக்கன் பயன்பாட்டைக் குறைக்கிறது, செலவுகளை வியத்தகு முறையில் குறைக்கிறது மற்றும்—மிக முக்கியமாக—ஒவ்வொரு பதிலுக்கும் சரிபார்க்கக்கூடிய ஆதாரங்களை வழங்குகிறது.