RAG പൈപ്പ്ലൈൻ: അമ്മാവനും അനന്തരവനും തമ്മിലുള്ള ലളിതമായ ഗൈഡ്
AI-യോട് ഊഹിക്കാൻ ആവശ്യപ്പെടുന്നത് നിർത്തുക. വസ്തുതകൾ നൽകാൻ തുടങ്ങുക.
AI-ക്ക് എല്ലാം അറിയാമെന്നാണ് മിക്കവരും കരുതുന്നത്. എന്നാൽ അത് ശരിയല്ല. പരിശീലന സമയത്ത് (training) അത് പഠിച്ച കാര്യങ്ങൾ മാത്രമേ അതിന് അറിയാവൂ. നിങ്ങളുടെ കമ്പനിയുടെ സ്വകാര്യ വിവരങ്ങളെക്കുറിച്ച് നിങ്ങൾ ചോദിച്ചാൽ, അത് തെറ്റായ വിവരങ്ങൾ (hallucinate) നൽകിയേക്കാം. വളരെ ആത്മവിശ്വാസത്തോടെ അത് നിങ്ങളോട് കള്ളം പറഞ്ഞേക്കാം.
Retrieval-Augmented Generation (RAG) ഇത് പരിഹരിക്കുന്നു.
AI-യോട് ഓർമ്മയിൽ നിന്ന് ഉത്തരം നൽകാൻ ആവശ്യപ്പെടുന്നതിന് പകരം, നിങ്ങൾ മൂന്ന് ഘട്ടങ്ങൾ പിന്തുടരുന്നു:
• Retrieval: ശരിയായ രേഖകൾ കണ്ടെത്തുക. • Augmentation: ആ രേഖകൾ നിങ്ങളുടെ പ്രോംപ്റ്റിൽ (prompt) ചേർക്കുക. • Generation: ആ രേഖകളുടെ അടിസ്ഥാനത്തിൽ മാത്രം AI ഉത്തരം നൽകാൻ അനുവദിക്കുക.
ഒരു പ്രൊഡക്ഷൻ-ഗ്രേഡ് (production-grade) RAG സിസ്റ്റം നിർമ്മിക്കാൻ വെറുമൊരു സ്ക്രിപ്റ്റ് മാത്രം പോരാ. അതിന് കൃത്യമായ എഞ്ചിനീയറിംഗ് ആവശ്യമാണ്.
വിശ്വസനീയമായ ഒരു സിസ്റ്റത്തിനായുള്ള ബ്ലൂപ്രിന്റ് ഇതാ:
Data Preparation മുഴുവൻ രേഖകളും ഒന്നിച്ച് എംബെഡ് (embed) ചെയ്യരുത്. അവയെ ചെറിയ ഭാഗങ്ങളായി (chunks) തിരിക്കുക. 1000-1500 ടോക്കണുകളും (tokens) 200-ടോക്കൺ ഓവർലാപ്പും (overlap) ഉള്ള ഒരു സ്ലൈഡിംഗ് വിൻഡോ സമീപനം (sliding window approach) ഉപയോഗിക്കുക. ഇത് സന്ദർഭത്തിന്റെ (context) വ്യക്തത നിലനിർത്താൻ സഹായിക്കുന്നു.
The Storage Stack സങ്കീർണ്ണമായ പുതിയ ഇൻഫ്രാസ്ട്രക്ചറുകൾ ഒഴിവാക്കുക. pgvector എക്സ്റ്റൻഷനുള്ള PostgreSQL ഉപയോഗിക്കുക. ഇത് നിങ്ങളുടെ ഡാറ്റയും വെക്റ്റർ എംബെഡിംഗുകളും (vector embeddings) ഒരിടത്ത് സുരക്ഷിതമായി സൂക്ഷിക്കാൻ സഹായിക്കുന്നു.
Hybrid Search ആശയങ്ങൾ (concepts) കണ്ടെത്തുന്നതിന് വെക്റ്റർ സെർച്ച് മികച്ചതാണ്, എന്നാൽ കൃത്യമായ വസ്തുതകൾ കണ്ടെത്തുന്നതിൽ അത് പിന്നിലായേക്കാം. വെക്റ്റർ സെർച്ചും കീവേഡ് സെർച്ചും (keyword search) സംയോജിപ്പിക്കുക. ഇത് നിങ്ങൾക്ക് അർത്ഥതലത്തിലുള്ള കൃത്യതയും (semantic meaning) വസ്തുതകളുടെ കൃത്യതയും നൽകുന്നു.
Reranking വെക്റ്റർ സെർച്ച് വേഗതയുള്ളതാണ്, എന്നാൽ ചിലപ്പോൾ തെറ്റായ ഫലങ്ങൾ നൽകിയേക്കാം. ഇതിനായി ഒരു രണ്ട് ഘട്ട പ്രക്രിയ ഉപയോഗിക്കുക. മികച്ച 20 ഫലങ്ങൾ കണ്ടെത്താൻ ഒരു വേഗതയേറിയ മോഡലും, അതിൽ നിന്ന് ഏറ്റവും മികച്ച 5 ഫലങ്ങൾ തിരഞ്ഞെടുക്കാൻ കൂടുതൽ കൃത്യതയുള്ള ഒരു റീറാങ്കറും (reranker) ഉപയോഗിക്കുക.
Preventing Hallucinations സംരക്ഷണത്തിനായി ഈ അഞ്ച് പാളികൾ ഉപയോഗിക്കുക: • നിങ്ങളുടെ പ്രോംപ്റ്റിൽ കൃത്യമായ റിട്രീവൽ പരിധികൾ (retrieval boundaries) നിശ്ചയിക്കുക. • സ്ട്രക്ചർഡ് JSON ഔട്ട്പുട്ട് ഉപയോഗിക്കുക. • നൽകിയിട്ടുള്ള തെളിവുകൾ AI ഉപയോഗിച്ചുവെന്ന് ഉറപ്പുവരുത്തുക. • കോൺഫിഡൻസ് ഗേറ്റിംഗ് (confidence gating) നടപ്പിലാക്കുക. • തെളിവുകൾ/ഉദ്ധരണികൾ (citations) നൽകാൻ AI-യെ നിർബന്ധിക്കുക.
RAG ഒരു മാന്ത്രികവിദ്യയല്ല. അതൊരു എഞ്ചിനീയറിംഗ് പ്രക്രിയയാണ്. വ്യക്തമായ ഡാറ്റ, തെളിയിക്കപ്പെട്ട രീതികൾ, നിരന്തരമായ അളവുകോലുകൾ എന്നിവയാണ് ഇതിന്റെ അടിസ്ഥാനം.
ഊഹങ്ങൾക്കല്ല, തെളിവുകൾ നൽകുന്ന സിസ്റ്റങ്ങൾ നിർമ്മിക്കുക.
Source: https://dev.to/surajrkhonde/rag-pipeline-the-uncle-nephew-complete-learning-guide-7h4
Optional learning community: https://t.me/GyaanSetuAi