𝗔𝗜 𝗖𝗵𝗮𝘁𝗯𝗼𝘁 𝗗𝗲𝘃𝗲𝗹𝗼𝗽𝗺𝗲𝗻𝘁 𝗚𝘂𝗶𝗱𝗲 𝗳𝗼𝗿 𝗥𝗔𝗚 𝗦𝘆𝘀𝘁𝗲𝗺𝘀
2026-இல் நீங்கள் எடுக்க வேண்டிய மிகப்பெரிய முடிவு எந்த மாதிரியான மாடலை (model) தேர்ந்தெடுப்பது என்பது அல்ல. அந்த மாடலுக்கு சரியான நேரத்தில் சரியான சூழலை (context) எவ்வாறு வழங்குகிறீர்கள் என்பதே அதுவாகும்.
நான் பயன்பாட்டிற்கான (production) சாட்பாட்களை உருவாக்குகிறேன். வெற்றிகரமான பெரும்பாலான சாட்பாட்கள் Retrieval-Augmented Generation (RAG) முறையைப் பயன்படுத்துகின்றன. மாடல் பதிலளிப்பதற்கு முன், RAG உங்கள் சொந்தக் கோப்புகளிலிருந்து தரவை எடுக்கிறது. இது பதில்கள் உங்கள் உண்மைகளின் அடிப்படையில் இருப்பதை உறுதி செய்கிறது.
ஏன் RAG சாதாரண ப்ராம்ப்டிங்கை (prompting) விட சிறந்தது:
- இது மாயத்தோற்றங்களைத் (hallucinations) தடுக்கிறது. மாடல்கள் கற்பனையான கொள்கைகளை உருவாக்குவதை நிறுத்திவிட்டு, உங்கள் ஆவணங்களிலேயே கவனம் செலுத்தும்.
- இது மறுபயிற்சி (retraining) செய்வதை விட மலிவானது. நீங்கள் ஒரு மாடலை ஃபைன்-டியூன் (fine-tuning) செய்வதற்குப் பதிலாக, ஒரு ஆவணத் குறியீட்டை (document index) மட்டும் புதுப்பித்தால் போதும்.
- இது இணக்கத்தன்மையை (compliance) மேம்படுத்துகிறது. ஒரு பதில் எங்கிருந்து வருகிறது என்பதை பயனர்கள் துல்லியமாகப் பார்க்க முடியும்.
நீங்கள் ஒரு மேம்பாட்டுத் குழுவை (development team) பணியமர்த்தினால், அவர்கள் எந்த மாடலைப் பயன்படுத்துகிறார்கள் என்று கேட்காதீர்கள். ஒவ்வொரு குழுவும் பெரிய மாடல்களையே பயன்படுத்துகின்றன. அதற்குப் பதிலாக இந்தக் கேள்விகளைக் கேளுங்கள்:
- ஆவணங்களை எவ்வாறு துண்டுகளாகப் (chunk) பிரிக்கிறீர்கள் மற்றும் எம்பெடிங்ஸை (embeddings) எவ்வாறு கையாளுகிறீர்கள்?
- முடிவுகளை எவ்வாறு மறுவரிசைப்படுத்துகிறீர்கள் (re-rank)?
- பதிலின் தரத்தை எவ்வாறு அளவிடுகிறீர்கள்?
பதில்களைப் படித்துப் பார்த்துச் சரிபார்ப்பதாக ஒரு குழு கூறினால், அங்கிருந்து விலகிவிடுங்கள். தொழில்முறை குழுக்கள் மதிப்பீட்டுத் தொகுப்புகளைப் (evaluation sets) பயன்படுத்துகின்றன மற்றும் தரவு மீட்டெடுப்பு விகிதங்களைக் (retrieval hit rates) கண்காணிக்கின்றன.
நீங்கள் தரவுப் பாதுகாப்பையும் (data security) சரிபார்க்க வேண்டும். உங்கள் அறிவுத் தளம் (knowledge base) எங்குள்ளது என்பதைத் தெரிந்து கொள்ளுங்கள். அணுகலை எவ்வாறு கட்டுப்படுத்துகிறீர்கள் என்பதைத் தெரிந்து கொள்ளுங்கள். ஒரு சிறந்த சேவை வழங்குநர் இதைத் தெளிவாக விளக்குவார்.
இந்தத் துறை மூன்று புதிய போக்குகளுக்கு (trends) மாறி வருகிறது:
- ஏஜென்டிக் மீட்டெடுப்பு (Agentic retrieval). சிக்கலான கேள்விகளுக்குப் பதிலளிக்க சாட்பாட் பல தேடல்களைத் திட்டமிடுகிறது.
- சிறிய மாடல்கள் (Small models). செலவைக் குறைக்க குழுக்கள் வலுவான மீட்டெடுப்புத் திறன் கொண்ட சிறிய மாடல்களைப் பயன்படுத்துகின்றன.
- மல்டிமோடல் கிரவுண்டிங் (Multimodal grounding). சாட்பாட்கள் இப்போது படங்கள், அட்டவணைகள் மற்றும் PDF-களிலிருந்து தரவை எடுக்கின்றன.
சாட்பாட் தரம் உங்கள் முக்கியத் தயாரிப்பு என்றால், அதை நீங்களே உள்ளேயே (in-house) உருவாக்குங்கள். உங்களுக்கு சில வாரங்களில் முடிவுகள் தேவைப்பட்டாலோ அல்லது உங்கள் தரவு ஒழுங்கற்றதாக இருந்தாலோ, ஒரு கூட்டாளியை (partner) பணியமர்த்துங்கள். பல நிறுவனங்கள் ஒரு நடுத்தரப் பாதையைத் தேர்ந்தெடுக்கின்றன. முதல் பதிப்பிற்கு (version one) ஒரு கூட்டாளியைப் பயன்படுத்துங்கள், பின்னர் அமைப்பு நிலைபெற்றதும் அதன் பொறுப்பை நீங்களே எடுத்துக் கொள்ளுங்கள்.
புதிய மாடல்களைத் துரத்துவதை நிறுத்துங்கள். தரவு மீட்டெடுப்பு (retrieval), மதிப்பீடு (evaluation) மற்றும் தரத்தின் (data quality) மீது கவனம் செலுத்துங்கள். இவற்றைச் சரியாகச் செய்துவிட்டால், மாடல் என்பது ஒரு சிறிய விஷயமாக மட்டுமே இருக்கும்.
Source: https://dev.to/markgs/ai-chatbot-development-company-guide-for-rag-based-systems-8po
Optional learning community: https://t.me/GyaanSetuAi