மேம்பட்ட RAG நுட்பங்கள் சிறந்தவை அல்ல. அவை சில நேரங்களில் மட்டுமே சிறந்தவை.

மேம்பட்ட RAG நுட்பங்கள் என்பவை இலவசமான மேம்படுத்தல்கள் (upgrades) அல்ல. அவை சில சமரசங்களை (tradeoffs) உள்ளடக்கிய கருவிகள்.

Anthropic ஆவணங்களைப் பயன்படுத்தி ஒரு RAG pipeline-இல் ஐந்து மீட்டெடுப்பு முறைகளை (retrieval methods) நான் சோதித்தேன். அவற்றில் எவை உண்மையில் அவற்றின் சிக்கலான தன்மைக்குத் தகுதியானவை என்பதை அறிய விரும்பினேன்.

நான் கண்டறிந்தவை இதோ:

• Dense Retrieval: இது ஒரு அடிப்படை முறை (baseline). இது நன்றாகச் செயல்படும், ஆனால் துல்லியமான சொற்களைத் தவறவிடக்கூடும். • Hybrid Search: இது dense மற்றும் keyword தேடலை இணைத்துப் பயன்படுத்துகிறது. dense முறையில் விடுபட்ட துல்லியமான சொற்களை இது கண்டறியும். ஆனால், நீங்கள் முடிவுகளுக்குச் சரியான எடையை (weight) வழங்கவில்லை என்றால், சரியான தகவல் மறைந்துவிடும். • Reranking: இது சாத்தியமான முடிவுகளுக்கு மதிப்பெண் வழங்க ஒரு cross-encoder-ஐப் பயன்படுத்துகிறது. சரியான chunk முடிவுகளில் மிகத் தாழ்வாக இருக்கும்போது இது உதவுகிறது. • HyDE: தரவைக் கண்டறிய இது ஒரு கற்பனையான பதிலைப் (hypothetical answer) பயன்படுத்துகிறது. இது ஆபத்தானது. இது சாதாரணமான வினவல்களுக்கு (casual queries) உதவும். ஆனால் நேரடியான வினவல்களின் போது, இது அனைத்தையும் கெடுத்துவிடும். ஒரு சோதனையில் Recall 0.80-லிருந்து 0.17 ஆகக் குறைந்தது. • Contextual Retrieval: இது chunks-களுடன் சுருக்கங்களைச் சேர்க்கிறது. இது சிறிய chunks-களுக்கு உதவும், ஆனால் LLM கட்டணங்களை அதிகரிக்கும்.

HyDE பற்றியதே மிகப்பெரிய பாடம். இது "set and forget" கருவி அல்ல. பயனர் வினவும் உங்கள் ஆவணங்களும் வெவ்வேறு மொழிகளில் இருக்கும்போது மட்டுமே இதைப் பயன்படுத்த வேண்டும். எப்போது இதைப் பயன்படுத்த வேண்டும் என்பதைத் தீர்மானிக்க உங்களுக்கு ஒரு router தேவை.

அளவீடு (measurement) பற்றியும் நான் ஒரு பாடத்தைக் கற்றுக்கொண்டேன்.

மதிப்பீட்டிற்கு (evaluation) Ragas-ஐப் பயன்படுத்த முயன்றேன். அது மிகவும் மெதுவாக இருந்தது. தோல்வியுற்ற அழைப்புகளைத் (failed calls) திரும்பத் திரும்பச் செய்யவே பல மணிநேரங்களைச் செலவிட்டது. எனவே நானே ஒரு async harness-ஐ உருவாக்க முடிவு செய்தேன். 11 மணிநேரத்திற்குப் பதிலாக, எனது மதிப்பீடு 221 வினாடிகளில் முடிந்தது.

AI கருவிகளை 'black boxes' ஆகக் கருதாதீர்கள். ஒரு கருவி மெதுவாகவோ அல்லது தோல்வியடைகின்றதோ இருந்தால், அதன் பின்னணியில் உள்ள கணிதத்தைப் பாருங்கள். தேவைப்பட்டால் உங்களுக்கான தீர்வை நீங்களே உருவாக்குங்கள்.

வேலை என்பது புதிய அம்சங்களை (features) மட்டும் சேர்ப்பது அல்ல. எந்த அம்சம் உங்கள் அமைப்பில் தங்குவதற்குத் தகுதியானது என்பதை அளவிடுவதே உண்மையான வேலை.

எப்போது எதைப் பயன்படுத்த வேண்டும் என்பதன் சுருக்கம்:

  • Hybrid: வினவல்கள் துல்லியமான அளவுருக்களை (exact parameters) சார்ந்திருக்கும்போது பயன்படுத்தவும்.
  • HyDE: வினவல்கள் சரியாகப் பிரயோகிக்கப்படாதபோது பயன்படுத்தவும்.
  • Reranking: மீட்டெடுப்பு (retrieval) பரவலாக இருந்து ஆனால் துல்லியமாக இல்லாவிட்டால் பயன்படுத்தவும்.
  • Contextual: உங்கள் chunks-களில் சூழல் (context) இல்லையென்றால் பயன்படுத்தவும்.

"state of the art" என்பதன் பின்னால் ஓடுவதை நிறுத்துங்கள். உங்கள் முடிவுகளை அளவிடத் தொடங்குங்கள்.

Source: https://dev.to/yogesh23012001/advanced-rag-techniques-arent-better-theyre-better-sometimes-4m2o

Optional learning community: https://t.me/GyaanSetuAi