RAG કેવી રીતે AI Hallucinations ને 85% ઘટાડે છે

AI ઘણીવાર ખોટી માહિતી બનાવે છે. આને hallucination કહેવામાં આવે છે.

Retrieval Augmented Generation (RAG) આ સમસ્યાને સુધારે છે. તે AI ને અનુમાન લગાવતા અટકાવે છે અને તેને વાસ્તવિક તથ્યો જોવા માટે મજબૂર કરે છે.

Pinecone નો ડેટા એક મોટો તફાવત દર્શાવે છે. જ્યારે GPT-4 ને 2021 પછીના તથ્યો વિશે પૂછવામાં આવે છે, ત્યારે RAG નો ઉપયોગ કરવાથી hallucination ના દરમાં 27% થી ઘટીને માત્ર 4% થઈ જાય છે.

તે કેવી રીતે કામ કરે છે?

RAG વગરના AI ને એવી રીતે વિચારો જેમ કે કોઈ વિદ્યાર્થી યાદશક્તિના આધારે પરીક્ષા આપી રહ્યો હોય. જો તે કોઈ તથ્ય ભૂલી જાય, તો તે હોશિયાર દેખાવા માટે જૂઠું બોલી શકે છે.

RAG સાથેના AI ને એવી રીતે વિચારો જેમ કે કોઈ વિદ્યાર્થી 'ઓપન-બુક' પરીક્ષા આપી રહ્યો હોય. તેઓ બોલતા પહેલા પાઠ્યપુસ્તકમાં જવાબ શોધી લે છે.

આ પ્રક્રિયા નીચેના સ્ટેપ્સ અનુસરે છે:

• સિસ્ટમ તમારા પ્રશ્નને 'vector' તરીકે ઓળખાતા ગાણિતિક કોડમાં ફેરવે છે. • તે સમાન ગાણિતિક કોડ ધરાવતા ટેક્સ્ટના ટુકડાઓ માટે ડેટાબેઝમાં શોધ કરે છે. • તે similarity scores ના આધારે શ્રેષ્ઠ મેળ (matches) પસંદ કરે છે. • તે આ ચોક્કસ માહિતી તમારા prompt માં ઉમેરે છે. • AI તેનો જવાબ લખવા માટે પૂરી પાડવામાં આવેલા તથ્યો વાંચે છે. • સિસ્ટમ તમને સ્ત્રોતો (sources) બતાવે છે જેથી તમે તેને ચકાસી શકો.

તમારા કામ માટે આ શા માટે મહત્વનું છે:

  • ચોકસાઈ (Accuracy): AI તાલીમ દરમિયાનની યાદશક્તિને બદલે વાસ્તવિક ડેટાનો ઉપયોગ કરે છે.
  • તાજગી (Freshness): તમે આખા મોડેલને ફરીથી ટ્રેન કર્યા વગર AI ને આજના સમાચાર આપી શકો છો.
  • પારદર્શિતા (Transparency): માહિતી ક્યાંથી આવી છે તે તમે ચોક્કસ રીતે જોઈ શકો છો.
  • ઓછી કિંમત (Low Cost): RAG દ્વારા ડેટાના નાના ટુકડાને પ્રોસેસ કરવાનો ખર્ચ $0.002 છે. વિશાળ context window ને પ્રોસેસ કરવાનો ખર્ચ $2.00 હોઈ શકે છે.

મોટા નામ પહેલેથી જ આનો ઉપયોગ કરી રહ્યા છે:

  • Perplexity AI: સાઇટેશન (citations) સાથે સર્ચ એન્જિન તરીકે કામ કરવા માટે RAG નો ઉપયોગ કરે છે.
  • Claude: લાંબા દસ્તાવેજો પર ખર્ચ બચાવવા માટે RAG નો ઉપયોગ કરે છે.
  • Microsoft Copilot: તમારી ફાઇલો અને ઈમેલ વાંચવા માટે RAG નો ઉપયોગ કરે છે.

RAG AI ને એક સર્જનાત્મક વાર્તાકારમાંથી એક વિશ્વસનીય સંશોધક (researcher) માં ફેરવે છે.

સ્ત્રોત: https://dev.to/tawan_shamsanor_30e1980a9/rag-ldkaarhlnkhng-ai-aid-85-aidyaangair-57ni