𝗥𝗔𝗚 𝗣𝗶𝗽𝗲𝗹𝗶𝗻𝗲: மாமா-மருமகன் வழிகாட்டி
AI-யிடம் யூகிக்கச் சொல்வதை நிறுத்துங்கள். அதற்கு உண்மைகளைக் கொடுக்கத் தொடங்குங்கள்.
AI அனைத்தையும் அறிந்திருக்கிறது என்று பெரும்பாலான மக்கள் நினைக்கிறார்கள். அது உண்மையல்ல. பயிற்சியின் போது அது கற்றுக்கொண்டவற்றை மட்டுமே அது அறியும். உங்கள் நிறுவனத்தின் ரகசியத் தரவுகளைப் பற்றி நீங்கள் கேட்டால், அது கற்பனையான தகவல்களை (hallucinate) உருவாக்கும். அது மிகுந்த நம்பிக்கையுடன் உங்களிடம் பொய் சொல்லும்.
Retrieval-Augmented Generation (RAG) இதைச் சரிசெய்கிறது.
AI-யிடம் நினைவாற்றலில் இருந்து பதிலளிக்கச் சொல்வதற்குப் பதிலாக, நீங்கள் மூன்று படிகளைப் பின்பற்றுகிறீர்கள்:
• Retrieval: சரியான ஆவணங்களைக் கண்டறிதல். • Augmentation: அந்த ஆவணங்களை உங்கள் prompt-உடன் சேர்த்தல். • Generation: அந்த ஆவணங்களின் அடிப்படையில் மட்டுமே AI பதிலளிக்க அனுமதித்தல்.
ஒரு production-grade RAG அமைப்பை உருவாக்க, ஒரு சாதாரண ஸ்கிரிப்ட் மட்டும் போதாது. உங்களுக்கு பொறியியல் (engineering) அறிவு தேவை.
நம்பகமான அமைப்பிற்கான வரைபடம் (blueprint) இதோ:
தரவுத் தயாரிப்பு (Data Preparation) முழு ஆவணங்களையும் embed செய்யாதீர்கள். அவற்றைச் சிறு துண்டுகளாக (chunks) பிரிக்கவும். 1000-1500 tokens மற்றும் 200-token overlap கொண்ட sliding window அணுகுமுறையைப் பயன்படுத்தவும். இது சூழலை (context) சிதையாமல் வைத்திருக்கும்.
சேமிப்பு அடுக்கு (The Storage Stack) சிக்கலான புதிய உள்கட்டமைப்புகளைத் தவிர்க்கவும். pgvector extension உடன் PostgreSQL-ஐப் பயன்படுத்தவும். இது உங்கள் தரவு மற்றும் vector embeddings ஆகியவற்றை ஒரே நம்பகமான இடத்தில் சேமிக்க அனுமதிக்கிறது.
Hybrid Search கருத்துருக்களுக்கு (concepts) vector search சிறந்தது, ஆனால் துல்லியமான உண்மைகளுக்கு அது சரியல்ல. vector search-ஐ keyword search உடன் இணைக்கவும். இது உங்களுக்குப் பொருண்மைப் பொருள் (semantic meaning) மற்றும் துல்லியமான துல்லியம் (exact precision) ஆகிய இரண்டையும் வழங்கும்.
Reranking Vector search வேகமானது ஆனால் தேவையற்ற தகவல்களையும் (noisy) கொண்டு வரலாம். இரண்டு கட்ட முறையைப் பயன்படுத்தவும். முதல் 20 முடிவுகளைக் கண்டறிய ஒரு வேகமான மாதிரியைப் (fast model) பயன்படுத்தவும், பின்னர் சிறந்த 5 முடிவுகளைத் தேர்ந்தெடுக்க மிகவும் துல்லியமான reranker-ஐப் பயன்படுத்தவும்.
கற்பனையான தகவல்களைத் தடுத்தல் (Preventing Hallucinations) இந்த ஐந்து பாதுகாப்பு அடுக்குகளைப் பயன்படுத்தவும்: • உங்கள் prompt-இல் கடுமையான retrieval எல்லைகளை நிர்ணயிக்கவும். • கட்டமைக்கப்பட்ட JSON வெளியீட்டைப் பயன்படுத்தவும். • வழங்கப்பட்ட ஆதாரங்களை AI உண்மையில் பயன்படுத்தியதா என்பதைச் சரிபார்க்கவும். • confidence gating முறையைச் செயல்படுத்தவும். • AI மேற்கோள்களை (citations) வழங்கக் கட்டாயப்படுத்தவும்.
RAG என்பது மந்திரம் அல்ல. அது பொறியியல். இது தெளிவான தரவு, நிரூபிக்கப்பட்ட முறைகள் மற்றும் தொடர்ச்சியான அளவீடுகளைப் பற்றியது.
யூகங்களை வழங்காமல், ஆதாரங்களை வழங்கும் அமைப்புகளை உருவாக்குங்கள்.
Source: https://dev.to/surajrkhonde/rag-pipeline-the-uncle-nephew-complete-learning-guide-7h4
Optional learning community: https://t.me/GyaanSetuAi