People keep writing obituaries for RAG. You have probably seen the headlines by now. Long context windows killed it. Age

લોકો RAG માટે શ્રદ્ધાંજલિ લખતા રહે છે. તમે કદાચ અત્યાર સુધી હેડલાઇન્સ જોઈ હશે. લાંબા કોન્ટેક્સ્ટ વિન્ડોઝે તેને ખતમ કરી દીધું. એજન્ટ્સે તેનું સ્થાન લઈ લીધું. આખી પદ્ધતિ હવે જૂની થઈ ગઈ છે. સત્ય તેનાથી વધુ મર્યાદિત અને ઘણું વધારે ઉપયોગી છે. RAG મરી નથી ગયું. ખરેખર જે તૂટી પડ્યું છે તે એ આરામદાયક ભ્રમણા હતી કે તમે દસ્તાવેજોના ઢગલાને ટુકડાઓમાં વિભાજિત કરી શકો છો, તેમને વેક્ટર ડેટાબેઝમાં નાખી શકો છો, અને અચાનક તમારી પાસે એક વિશ્વસનીય, સત્યવાદી AI આવી જશે.

થોડા વર્ષો પહેલા, આ પ્રસ્તાવ તેની સરળતામાં આકર્ષક હતો. તમારા નોલેજ બેઝને એમ્બેડ કરો. તેને LLM સાથે જોડો. એક પ્રશ્ન પૂછો, અને મોડેલ ફક્ત તમારા રિટ્રીવ કરેલા ડેટાનો ઉપયોગ કરીને જવાબ આપે તે જુઓ. નિયંત્રિત ડેમો અને નાના FAQ બોટ્સ માટે, આ ખરેખર કામ કરતું હતું. વીસ પાનાનું હેલ્પ ડેસ્ક મેન્યુઅલ. એક વ્યવસ્થિત ઇન્ટરનલ વિકિ. બોટ મોટે ભાગે સાચા પેરેગ્રાફનો ઉલ્લેખ કરતું અને નેતૃત્વ પાઇલોટને મંજૂરી આપી દેતું. પરંતુ પાઇલોટ એ પ્રોડક્શન નથી. પ્રોટોટાઇપ્સમાં વાસ્તવિક વ્યવસાયિક કામગીરીના અનુભવો હોતા નથી.

પ્રોડક્શન ડેટા અસ્તવ્યસ્ત હોય છે. તેમાં ડઝનબંધ ફાઇલોમાં કોપી કરેલી એક જ ટ્રબલશૂટિંગ નોંધ હોય છે, જેમાં દરેકના ટાઇમસ્ટેમ્પ થોડા અલગ હોય છે અને સ્ટેટસ લેબલ્સ વિરોધાભાસી હોય છે. તેમાં જટિલ ટેબલ્સ હોય છે જે પેજ પર ફેલાયેલા હોય છે, અને જ્યારે સ્પ્લિટર તેને વચ્ચેથી કાપે છે ત્યારે તે અર્થહીન બની જાય છે. તે કોઈપણ ક્ષમા માંગ્યા વિના વિરોધાભાસો જાળવી રાખે છે. 2023 ની પોલિસી મેન્યુઅલ એક વાત કહે છે. માર્ચ 2024 ના સુધારા બીજી વાત કહે છે. જૂની PDF ક્યારેય આર્કાઇવ કરવામાં આવી નહોતી. ટુકડા કરવા (chunk), સંગ્રહિત કરવા (store) અને રિટ્રીવ (retrieve) કરવાની આ સરળ પદ્ધતિ દરેક પેરેગ્રાફને એક અલગ ટાપુ તરીકે જુએ છે. તેને હાયરાર્કી, વર્ઝન હિસ્ટ્રી અથવા વિરોધાભાસના નિરાકરણ (conflict resolution) ની કોઈ સમજ નથી. મોડેલ ભ્રમણા (hallucinate) એટલા માટે નથી કરતું કે LLM ખરાબ છે, પરંતુ એટલા માટે છે કારણ કે તેને જે કોન્ટેક્સ્ટ મળ્યો હતો તે વિખરાયેલો, અસંગત અથવા સીધો ખોટો હતો.

કેટલાક અવલોકનકારો દાવો કરે છે કે મિલિયન-ટોકન કોન્ટેક્સ્ટ વિન્ડોઝ રિટ્રીવલને બિનજરૂરી બનાવે છે. તેમનો તર્ક સીધો છે. આખા કોર્પસને પ્રોમ્પ્ટમાં નાખી દો અને મોડેલને તે બધું વાંચવા દો. આ સાંભળવામાં સુંદર લાગે છે. તે જોખમી રીતે આશાવાદી પણ છે. એક મોડેલ ટેકનિકલી ટૂંકી નવલકથા જેટલા લખાણને ગ્રહણ કરવા સક્ષમ હોઈ શકે છે, છતાં તે વિશાળ વિસ્તારની વચ્ચેથી એક ચોક્કસ કલમ શોધવી એ તદ્દન અલગ ક્ષમતા છે. ઘાસના ઢગલામાં સોય ખોવાઈ જાય છે. લાંબા કોન્ટેક્સ્ટ વિન્ડોઝ ઉપલબ્ધ કેનવાસને વિસ્તૃત કરે છે, પરંતુ તે કેનવાસ પર શું હોવું જોઈએ તે નક્કી કરવાનું અઘરું કામ ઉકેલતા નથી. સમસ્યા ક્યારેય માત્ર રિટ્રીવલની નહોતી. તે હંમેશા કોન્ટેક્સ્ટ એસેમ્બલી (context assembly) રહી છે.

Naive Retrieval થી Context Engineering તરફ

2026 માં, આ ક્ષેત્ર પરિપક્વ થઈ રહ્યું છે. આપણે એ તબક્કાથી આગળ વધી રહ્યા છીએ જ્યાં RAG ને સિંગલ લિનિયર પાઇપલાઇન તરીકે ગણવામાં આવતું હતું અને એવી આર્કિટેક્ચર તરફ આગળ વધી રહ્યા છીએ જે કોન્ટેક્સ્ટને જાણીજોઈને એન્જિનિયર્ડ પ્રોડક્ટ તરીકે જુએ છે.

શુદ્ધ સેમેન્ટિક્સ પર હાઇબ્રિડ સર્ચ. સેમેન્ટિક સમાનતા (Semantic similarity) ઈરાદાને સમજવા માટે ઉત્તમ છે, પરંતુ તે ચોક્કસ ઓળખકર્તાઓ (identifiers) સાથે અચોક્કસ હોઈ શકે છે. જો કોઈ એન્જિનિયર ERR_CONNECTION_REFUSED જેવો ચોક્કસ એરર કોડ અથવા v3.2.1 જેવું સોફ્ટવેર વર્ઝન ક્વેરી કરે છે, તો શુદ્ધ વેક્ટર સર્ચ વૈચારિક રીતે સમાન પરંતુ વ્યવહારિક રીતે બિનજરૂરી પરિણામોના સમુદ્રમાં ચોક્કસ મેચને નબળું પાડી શકે છે. અહીં ઉત્ક્રાંતિ સીધી છે. આધુનિક સિસ્ટમ્સ એમ્બેડિંગ્સની સાથે BM25 અથવા ઇનવર્ટેડ ઇન્ડેક્સ જેવી પદ્ધતિઓનો ઉપયોગ કરીને કીવર્ડ સર્ચ સાથે ડેન્સ વેક્ટર રિટ્રીવલને જોડે છે. ચોક્કસ નામો, એરર કોડ્સ, વર્ઝન સ્ટ્રિંગ્સ અને પ્રોડક્ટ આઈડીઝ કીવર્ડ લેયર દ્વારા પકડાઈ જાય છે જ્યારે વૈચારિક સૂક્ષ્મતા (conceptual nuance) વેક્ટર લેયર દ્વારા સંભાળવામાં આવે છે.

જનરેશન પહેલાં રી-રેન્કિંગ (Reranking). રિટ્રીવલ કુદરતી રીતે રીકોલ (recall) તરફ ઝુકાવ ધરાવે છે. તમે ચાલીસ કે પચાસ ટુકડાઓ ખેંચી લો છો કારણ કે તમે તે એક સુવર્ણ પેરેગ્રાફ ચૂકી જશો તેનાથી ડરેલા હોવ છો. પરંતુ તે બધો અવાજ (noise) મોટા મોડેલમાં નાખવાથી ટોકન્સનો બગાડ થાય છે અને મહત્વની માહિતી (signal) દબાઈ જાય છે. રી-રેન્કિંગ આ સમસ્યાને બીજા, સામાન્ય રીતે નાના મોડેલ સાથે ઉકેલે છે જે ચોક્કસ ક્વેરી સામે દરેક ઉમેદવારને સુસંગતતા માટે સ્કોર આપે છે. ટોચના પાંચ ફકરા આગળ વધે છે. બાકીના કાઢી નાખવામાં આવે છે. તે રિટ્રીવલ અને જનરેશન વચ્ચે ચોકસાઈના ફિલ્ટર તરીકે કામ કરે છે, જે સુનિશ્ચિત કરે છે કે મોંઘું રીઝનિંગ મોડેલ ફક્ત તે જ વાંચે જે ખરેખર મહત્વનું છે.

અર્થ જાળવી રાખતું કોન્ટેક્સ્ટ્યુઅલ રિટ્રીવલ. ચંકિંગ (Chunking) એ એક હિંસક કૃત્ય છે. એક સ્પ્લિટર પેરેગ્રાફને તેના સેક્શન હેડર, ટેબલ કેપ્શન, તેની આસપાસના કાનૂની ડિસ્ક્લેમર અથવા ફૂટનોટથી અલગ કરી શકે છે જે તેનો અર્થ બદલી નાખે છે. કોન્ટેક્સ્ટ્યુઅલ રિટ્રીવલ ટુકડાઓને મોડેલ સુધી પહોંચતા પહેલા જ તેને સમૃદ્ધ કરીને આ સમસ્યા ઘટાડે છે. તમે તેના મૂળ (provenance) દર્શાવતું મેટાડેટા ઉમેરો છો: આ અંશ Q3 2024 ઇન્સિડન્ટ રિપોર્ટ, ડેટાબેઝ આઉટેજ સેક્શન, સેવરિટી ક્રિટિકલનો છે. મોડેલ માત્ર એક તરતો વાક્ય નથી જોતું પરંતુ માહિતીનો એક સંદર્ભિત ભાગ જુએ છે. ટુકડો તેની સાચી દિશા પાછી મેળવે છે.

હેતુ દ્વારા મોડ્યુલર રાઉટિંગ. દરેક પ્રશ્ન ડોક્યુમેન્ટેશનથી ભરેલા વેક્ટર સ્ટોરમાં હોવો જરૂરી નથી. પાસવર્ડ કેવી રીતે રિસેટ કરવો તે પૂછતા વપરાશકર્તાને કદાચ હેલ્પ આર્ટિકલની જરૂર હોય છે. ગયા ક્વાર્ટરમાં ઉત્તર-પૂર્વમાં આવક કેમ ઘટી તે પૂછતા વપરાશકર્તાને ડેટા વેરહાઉસ સામે SQL ની જરૂર છે, પ્રાદેશિક વેચાણ વ્યૂહરચના વિશેના અર્થપૂર્ણ સમાન ફકરાની નહીં. પરિપક્વ સિસ્ટમો હવે હેતુ દ્વારા ક્વેરીઝનું રાઉટિંગ કરે છે, અને યોગ્ય સાધન પસંદ કરે છે. પ્રક્રિયા માટે ડોક્યુમેન્ટેશન. સ્ટ્રક્ચર્ડ એનાલિટિક્સ માટે રિલેશનલ ડેટાબેઝ. ટ્રેસ ડીબગિંગ માટે લોગ એગ્રીગેટર્સ. લાઈવ સ્ટેટસ માટે APIs. રિટ્રીવલ લેયર હવે એક ડિસ્પેચર બને છે, મોનોકલ્ચર નહીં.

એજન્ટિક રીઝનિંગ લૂપ્સ. કેટલાક પ્રશ્નોનો જવાબ એક જ સર્ચ સ્ટેપ દ્વારા આપી શકાતો નથી. તેઓ માટે પુનઃરચના જરૂરી છે. એક અસ્પષ્ટ પ્રારંભિક ક્વેરીને સ્પષ્ટ કરવામાં આવે છે. મેળવેલા દાવાઓને બીજા સ્ત્રોત સાથે ક્રોસ-ચેક કરવામાં આવે છે. જો ડોક્યુમેન્ટેશન API સ્પેસિફિકેશન સાથે વિરોધાભાસ ધરાવતું હોય, તો સિસ્ટમ મધ્યમ માર્ગ શોધવાને બદલે વિરોધાભાસને ફ્લેગ કરે છે. મોડેલ નક્કી કરે છે કે ક્યારે ફરીથી સર્ચ કરવું, ક્યારે તેની ક્વેરીને રિફાઇન કરવી, અને ક્યારે જવાબ આપવા માટે પૂરતા પુરાવા એકત્રિત કર્યા છે. આ વન-શોટ રિટ્રીવલ નથી. તે સ્ટ્રક્ચર્ડ રીઝનિંગ છે જે સર્ચનો ઉપયોગ સબરૂટિન તરીકે કરે છે.

રિલેશનલ પ્રશ્નો માટે GraphRAG. અમુક બિઝનેસ પ્રશ્નો જોડાણો વિશે હોય છે, વાક્યો વિશે નહીં. કયા ઘટકના નિષ્ફળતાથી કયા ડાઉનસ્ટ્રીમ એલર્ટ્સ ટ્રિગર થયા? કયો સપ્લાયર કઈ ફેક્ટરીને સપ્લાય કરે છે, અને વૈકલ્પિક રૂટ કયો છે? સંસ્થામાં કોની પાસે આ ચોક્કસ બજેટ લાઇન પર નિર્ણય લેવાના અધિકારો છે? ફ્લેટ ટેક્સ્ટ ચંક્સ આ સંબંધોને સપાટ કરી દે છે કારણ કે તેઓ ટોપોલોજી જાળવી રાખવા માટે ડિઝાઇન કરવામાં આવ્યા નથી. નોલેજ ગ્રાફ્સ તે કરી શકે છે. જ્યારે પ્રશ્ન પ્રભાવ, લાઇનીએજ, પેટર્ન અથવા નેટવર્ક સ્ટ્રક્ચર વિશે હોય, ત્યારે ગ્રાફને ટ્રેવર્સ કરવાથી એવો સંદર્ભ મળે છે જે ફકરાના રિટ્રીવલ દ્વારા ક્યારેય મેળવી શકાતો નથી.

જે પ્રશ્નો ખરેખર મહત્વના છે

RAG વિશેની ચર્ચા બદલવાની જરૂર છે. એક સામાન્ય RAG પાઇપલાઇન કેવી રીતે બનાવવી તે પૂછવાનું બંધ કરો. મોડેલે કયું ચોક્કસ કાર્ય ઉકેલવું જોઈએ, સચોટ રહેવા માટે તેને કયો ચોક્કસ ડેટા જોઈએ છે, અને તમે કેવી રીતે ચકાસો છો કે એકત્રિત કરેલ સંદર્ભ પૂરતો છે, તે પૂછવાનું શરૂ કરો. આ પ્રશ્નો તમને ડેટા ક્વોલિટી, સ્કીમા ડિઝાઇન, વેરિફિકેશન લૂપ્સ અને સ્ત્રોત પ્રોવેનન્સ તરફ દોરી જાય છે. તેઓ એ ખુલ્લું પાડે છે કે તમારો નોલેજ બેઝ ઓટોમેટેડ વપરાશ માટે યોગ્ય છે કે નહીં.

RAG હવે એક એવી સિંગલ લિનિયર પ્રક્રિયા નથી જેને તમે એકવાર ઇન્સ્ટોલ કરો અને ભૂલી જાઓ. તે યોગ્ય સંદર્ભ એકત્રિત કરવાનું એક શિસ્ત છે જેથી મોડેલ અસરકારક રીતે રીઝન કરી શકે. તેનો અર્થ એ છે કે રિટ્રીવલને લાઈબ્રેરી ઇમ્પોર્ટ તરીકે નહીં, પણ સિસ્ટમ ડિઝાઇન સમસ્યા તરીકે ગણવું.

સાધનો વધુ સચોટ બની રહ્યા છે. સર્ચ હાઇબ્રિડ છે. રાઉટિંગ ઇન્ટેલિજન્ટ છે. રિટ્રીવલ રેન્ક્ડ, એન્રિચ્ડ અને વેરિફાઇડ છે. 2022 ના સાદા ભ્રમ તૂટવા જરૂરી હતા જેથી કંઈક ખરેખર ઉપયોગી વસ્તુ તેમનું સ્થાન લઈ શકે. તમારું કામ હવે માત્ર ડેટાબેઝમાંથી ટેક્સ્ટ રિટ્રીવ કરવાનું નથી. તે એવી સિસ્ટમ બનાવવાનું છે જે મોડેલ વિચારવાનું શરૂ કરે તે પહેલાં જ તેને શું જોઈએ છે તે જાણે છે.

જો તમે આ ક્ષેત્રમાં કામ કરી રહ્યા હોવ, તો GyaanSetu લર્નિંગ કોમ્યુનિટી એ સમાન સમસ્યાઓ ઉકેલી રહેલા લોકો સાથે વ્યવહારુ નોંધોની આપ-લે કરવાનું સ્થાન છે: https://t.me/GyaanSetuAi