AI ને અનુમાનને (Inference) તથ્ય (Fact) તરીકે ખોટી રીતે લેબલ કરતા કેવી રીતે રોકવું

AI રિસર્ચ એજન્ટ્સ ઘણીવાર તથ્યોને અનુમાનો સાથે મિક્સ કરી દે છે. એક વેબ પેજ બજારના મૂલ્ય વિશે જણાવી શકે છે. ત્યારબાદ એજન્ટ એવો નિષ્કર્ષ કાઢે છે કે બજાર ઝડપથી વધી રહ્યું છે. અંતિમ લખાણમાં બંને વિધાનો એકસરખા લાગે છે. ડેટા અને અભિપ્રાયનું આ મિશ્રણ જોખમી છે.

તમે આને સારા પ્રોમ્પ્ટ્સ (prompts) દ્વારા ઠીક કરી શકતા નથી. પ્રોમ્પ્ટ્સ સંભવિતતા (probabilistic) પર આધારિત હોય છે. દબાણ હેઠળ, મોડેલ અનુમાન લગાવશે.

તેનો ઉકેલ માળખાગત (structural) છે. નિર્ણય લેવાની પ્રક્રિયા LLM માંથી તમારા કોડમાં ખસેડો.

કામને બે ભાગમાં વહેંચો:

LLM આ કરે છે:

  • પેજમાંથી દાવાઓ (claims) કાઢવા.
  • લખાણનો સારાંશ આપવો.

Deterministic કોડ આ કરે છે:

  • દાવાઓને સ્કોર આપવો.
  • સ્ત્રોતોની તપાસ કરવી (cross-check).
  • દાવાઓને FACT અથવા INFERENCE તરીકે લેબલ કરવા.
  • ડેટા તાજો છે કે નહીં તે નક્કી કરવું.

કોઈ દાવો FACT લેબલ ત્યારે જ મેળવે છે જો તે કડક નિયમોનું પાલન કરે. ઉદાહરણ તરીકે, તે બે સ્વતંત્ર સ્ત્રોતો અથવા એક સત્તાવાર API માંથી આવવો જોઈએ. બાકી બધું INFERENCE બની જાય છે.

આ પાઇપલાઇનનો ઉપયોગ કરો:

  1. PLAN: પ્રશ્નને સબ-ક્વેરીઝમાં ફેરવો.
  2. HARVEST: વિવિધ માર્ગોમાંથી ડેટા મેળવો.
  3. NORMALIZE: સ્ટ્રક્ચર્ડ દાવાઓ કાઢવા માટે LLM નો ઉપયોગ કરો. આ એકમાત્ર સ્ટેપ છે જેમાં LLM નો ઉપયોગ થાય છે.
  4. CORROBORATE: દાવાઓને ગ્રુપ કરો અને સ્વતંત્ર સ્ત્રોતોની ગણતરી કરો.
  5. SCORE: લેબલ આપવા માટે નિયમો લાગુ કરો.
  6. RENDER: તથ્યો, અનુમાનો અને ખૂટતી માહિતી દર્શાવો.

સ્વતંત્રતા એ મુખ્ય બાબત છે. એક બ્લોગ બીજા બ્લોગને ટાંકે તે બે સ્ત્રોત નથી. તથ્યની પુષ્ટિ કરવા માટે તમારે અલગ ડોમેન્સ અથવા સત્તાવાર API ની જરૂર છે.

વિશ્વસનીય એજન્ટ માટે આ નિયમોનું પાલન કરો:

  • escalation નો ઉપયોગ કરો: પહેલા વેબ સર્ચ કરવાનો પ્રયાસ કરો. જો પહેલું સ્ટેપ નિષ્ફળ જાય તો જ ન્યૂઝ એન્જિન અથવા એકેડેમિક સર્ચ પર જાઓ.
  • freshness ટ્રેક કરો: જૂના ડેટાને stale (જૂનો/અપ્રસ્તુત) તરીકે લેબલ કરો. જૂના તથ્યોને વર્તમાન તરીકે પસાર થવા ન દો.
  • ખામીઓ (gaps) દર્શાવો: તમે જે શોધી શક્યા નથી તેની યાદી બનાવો. કોઈ માહિતી ન હોવી એ નિષ્ફળતા છે.
  • reproducibility સુનિશ્ચિત કરો: સમાન ક્વેરી દર વખતે સમાન લેબલ જ આપવી જોઈએ. જો લેબલ બદલાય છે, તો તેનો અર્થ એ કે LLM ડેટાને સ્કોર કરી રહ્યું છે. તે LLM કોલને ફંક્શન (function) સાથે બદલો.

આ પદ્ધતિ મોડેલને તે કરવા દે છે જેમાં તે શ્રેષ્ઠ છે: વાંચવું અને ડેટા કાઢવો. તે મોડેલને શું સાચું છે તેનો નિર્ણય લેતા અટકાવે છે.

સ્ત્રોત: https://dev.to/hexisteme/how-to-make-an-ai-research-agent-label-facts-vs-inferences-a-deterministic-provenance-pipeline-5dfn

વૈકલ્પિક લર્નિંગ કોમ્યુનિટી: https://t.me/GyaanSetuAi