GenAI Stack-ன் மர்மங்களை நீக்குதல்

பாரம்பரிய மென்பொருள் வடிவமைப்பு தீர்மானிப்பனமையை (determinism) நம்பியுள்ளது. நீங்கள் ஒரு உள்ளீட்டை (input) அனுப்புகிறீர்கள், அதை ஒரு ஸ்கீமாவுடன் (schema) சரிபார்க்கிறீர்கள், மேலும் ஒரு கணிக்கக்கூடிய வெளியீட்டை எதிர்பார்க்கிறீர்கள்.

Generative AI இதை மாற்றுகிறது. Large Language Models (LLMs) என்பவை நிகழ்தகவு சார்ந்த இயந்திரங்கள் (probabilistic engines). அவை நிகழ்தகவின் அடிப்படையில் உரையைத் கணிக்கின்றன.

நீங்கள் ஒரு LLM-ஐ ஒரு மாயப் பெட்டி போலக் கருதினால், உங்கள் தயாரிப்பு செயலிகள் (production apps) தோல்வியடையும். அதை ஒரு நிலையற்ற, தீர்மானிக்க முடியாத (non-deterministic) மூன்றாம் தரப்பு API ஆகக் கருதினால், உங்களால் நம்பகமான அமைப்புகளை உருவாக்க முடியும்.

ஒரு LLM-ல் நீங்கள் நிர்வகிக்க வேண்டிய குறிப்பிட்ட கட்டுப்பாடுகள் உள்ளன:

  • Payload அளவு: மாடல்களுக்கு 'context windows' எனப்படும் கடுமையான வரம்புகள் உள்ளன. நீங்கள் எல்லையற்ற தரவை அனுப்ப முடியாது.
  • தாமதம் (Latency): தரவுத்தள வாசிப்பு மில்லி விநாடிகள் எடுக்கும். LLM inference விநாடிகள் எடுத்துக்கொள்ளும். இதைச் சமாளிக்க உங்களுக்கு asynchronous queues அல்லது streaming தேவைப்படும்.
  • மாயத்தோற்றங்கள் (Hallucinations): ஒரு மாடலுக்குத் தேவையான குறிப்பிட்ட தரவு இல்லையென்றால், அது நம்பகமான ஆனால் தவறான பதிலைத் தானாகவே உருவாக்கும்.

அதிகச் செலவு பிடிக்கும் மறுபயிற்சி (retraining) இன்றி தரவுப் பிரச்சனையைத் தீர்க்க, நாம் Retrieval-Augmented Generation (RAG)-ஐப் பயன்படுத்துகிறோம்.

RAG என்பது உங்கள் சொந்த தரவுத்தளத்தை API-க்குக் கொண்டு வருவதற்குச் சமமானது. மாடல் உங்கள் தரவைத் தெரிந்து கொள்ள வேண்டும் என்று எதிர்பார்ப்பதற்குப் பதிலாக, உங்கள் backend பொருத்தமான சூழலைத் (context) தேடி எடுத்து, அதை prompt-க்குள் செலுத்துகிறது.

RAG பணிப்பாய்வு (workflow):

  1. பயனர் ஒரு prompt-ஐ அனுப்புகிறார்.
  2. உங்கள் அமைப்பு ஒரு Vector Database-ஐக் கேள்வி கேட்கிறது.
  3. அமைப்பு அர்த்தரீதியாகத் தொடர்புடைய உரைத் துண்டுகளைக் (text chunks) கண்டறிகிறது.
  4. அமைப்பு இந்தத் துண்டுகளை prompt-க்குள் செலுத்துகிறது.
  5. LLM ஆதாரப்பூர்வமான சூழலைச் (grounded context) செயலாக்குகிறது.

இது LLM-ஐ ஒரு அறிவுத் தயாரிப்பாளரிடமிருந்து (knowledge generator) ஒரு சூழல் செயலாக்கியாக (context processor) மாற்றுகிறது. இது பிழைகளைத் துல்லியமாகக் குறைக்கிறது.

தானியங்கி சேவைகளுக்கு LLM வெளியீடுகளைப் பயனுள்ளதாக மாற்ற, உங்களுக்கு Structured Outputs தேவை. ஒரு மைக்ரோசேவைக்காக (microservice) உரையாடல் உரையை பகுப்பாய்வு செய்ய நீங்கள் regex-ஐப் பயன்படுத்த முடியாது. நீங்கள் JSON போன்ற துல்லியமான schema வரையறைகளை அனுப்ப வேண்டும். இது உங்கள் குறியீடு (code) படிக்கக்கூடிய ஒரு கண்டிப்பான அமைப்பை மாடல் பின்பற்றுவதை உறுதி செய்கிறது.

தயாரிப்பு நிலை AI-ஐ உருவாக்குவதற்கு, நேரியல் prompt-களிலிருந்து (linear prompts) வலுவான அமைப்பு வடிவமைப்பிற்கு (robust system design) மாற வேண்டும்.

மூலம்: https://dev.to/ingit_bhatnagar/de-mystifying-the-genai-stack-from-llms-to-rag-a-systems-perspective-4jp8

விருப்பமான கற்றல் சமூகம்: https://t.me/GyaanSetuAi