𝗥𝗔𝗚 𝗣𝗶𝗽𝗲𝗹𝗶𝗻𝗲: 𝗧𝗵𝗲 𝗨𝗻𝗰𝗹𝗲-𝗡𝗲𝗽𝗵𝗲𝘄 𝗚𝘂𝗶𝗱𝗲

AI ને અનુમાન લગાવવાનું કહેવાનું બંધ કરો. તેને તથ્યો આપવાનું શરૂ કરો.

મોટાભાગના લોકો વિચારે છે કે AI બધું જ જાણે છે. તે જાણતું નથી. તે ફક્ત એટલું જ જાણે છે જે તેણે તાલીમ (training) દરમિયાન શીખ્યું છે. જો તમે તેને તમારી ખાનગી કંપનીના ડેટા વિશે પૂછશો, તો તે hallucinate કરશે (ખોટી માહિતી આપશે). તે આત્મવિશ્વાસ સાથે તમને જૂઠું બોલશે.

Retrieval-Augmented Generation (RAG) આ સમસ્યાનું નિરાકરણ લાવે છે.

AI ને તેની યાદશક્તિમાંથી જવાબ આપવા કહેવાને બદલે, તમે ત્રણ સ્ટેપ્સ અનુસરો છો:

• Retrieval: યોગ્ય દસ્તાવેજો શોધો. • Augmentation: તે દસ્તાવેજોને તમારા prompt માં ઉમેરો. • Generation: AI ને ફક્ત તે દસ્તાવેજોના આધારે જવાબ આપવા દો.

પ્રોડક્શન-ગ્રેડ RAG સિસ્ટમ બનાવવા માટે, તમારે માત્ર એક સાદા સ્ક્રિપ્ટ કરતાં વધુની જરૂર છે. તમારે એન્જિનિયરિંગની જરૂર છે.

અહીં એક વિશ્વસનીય સિસ્ટમ માટેનો બ્લુપ્રિન્ટ છે:

  1. Data Preparation આખા દસ્તાવેજોને એમ્બેડ (embed) કરશો નહીં. તેને ટુકડાઓમાં (chunks) વહેંચો. 1000-1500 ટોકન્સ અને 200-ટોકન ઓવરલેપ સાથે સ્લાઇડિંગ વિન્ડો એપ્રોચનો ઉપયોગ કરો. આનાથી સંદર્ભ (context) અકબંધ રહેશે.

  2. The Storage Stack જટિલ નવા ઇન્ફ્રાસ્ટ્રક્ચરથી બચો. pgvector એક્સટેન્શન સાથે PostgreSQL નો ઉપયોગ કરો. તે તમને તમારો ડેટા અને તમારા vector embeddings ને એક વિશ્વસનીય જગ્યાએ સ્ટોર કરવાની મંજૂરી આપે છે.

  3. Hybrid Search વેક્ટર સર્ચ (Vector search) ખ્યાલો માટે ઉત્તમ છે પરંતુ ચોક્કસ તથ્યો માટે ખરાબ છે. વેક્ટર સર્ચને કીવર્ડ સર્ચ સાથે જોડો. આ તમને અર્થપૂર્ણ અર્થ (semantic meaning) અને ચોક્કસ સચોટતા (precision) બંને આપશે.

  4. Reranking વેક્ટર સર્ચ ઝડપી છે પરંતુ તેમાં અવાજ (noise/ભૂલભરેલી માહિતી) હોઈ શકે છે. બે તબક્કાની પ્રક્રિયાનો ઉપયોગ કરો. ટોચના 20 પરિણામો શોધવા માટે ઝડપી મોડેલનો ઉપયોગ કરો, પછી શ્રેષ્ઠ 5 પસંદ કરવા માટે વધુ સચોટ reranker નો ઉપયોગ કરો.

  5. Preventing Hallucinations સુરક્ષાના આ પાંચ સ્તરોનો ઉપયોગ કરો: • તમારા prompt માં કડક રીટ્રીવલ સીમાઓ (retrieval boundaries) સેટ કરો. • સ્ટ્રક્ચર્ડ JSON આઉટપુટનો ઉપયોગ કરો. • AI એ ખરેખર પૂરા પાડવામાં આવેલ પુરાવાનો ઉપયોગ કર્યો છે તેની ચકાસણી કરો. • Confidence gating લાગુ કરો. • AI ને સાઇટેશન (citations) આપવા માટે મજબૂર કરો.

RAG કોઈ જાદુ નથી. તે એન્જિનિયરિંગ છે. તે સ્પષ્ટ ડેટા, સાબિત થયેલા પેટર્ન અને સતત માપન વિશે છે.

એવી સિસ્ટમ બનાવો જે અનુમાન નહીં, પણ પુરાવા પૂરા પાડે.

Source: https://dev.to/surajrkhonde/rag-pipeline-the-uncle-nephew-complete-learning-guide-7h4

Optional learning community: https://t.me/GyaanSetuAi