AI ला अनुमान (Inference) तथ्य (Fact) म्हणून चुकीच्या पद्धतीने लेबल करण्यापासून कसे रोखायचे

AI रिसर्च एजंट्स अनेकदा तथ्ये (facts) आणि अंदाज (guesses) यांची सरमिसळ करतात. एखादे वेब पेज मार्केट व्हॅल्यू सांगू शकते. त्यानंतर एजंट असा निष्कर्ष काढतो की मार्केट वेगाने वाढत आहे. अंतिम मजकुरात दोन्ही विधाने सारखीच दिसतात. डेटा आणि मत यांचा हा मिलाफ धोकादायक आहे.

तुम्ही हे चांगल्या प्रॉम्प्ट्सने (prompts) सुधारू शकत नाही. प्रॉम्प्ट्स हे संभाव्यतेवर (probabilistic) आधारित असतात. दबावाखाली, मॉडेल अंदाज लावेल.

याचे समाधान स्ट्रक्चरल (structural) आहे. निर्णय घेण्याची प्रक्रिया LLM कडून तुमच्या कोडकडे वळवा.

काम दोन भागांत विभाजित करा:

LLM काय करते:

  • पेजमधून दावे (claims) काढणे.
  • मजकुराचा सारांश काढणे.

डिटरमिनिस्टिक (Deterministic) कोड काय करतो:

  • दाव्यांना स्कोअर देणे.
  • स्त्रोतांची (sources) पडताळणी करणे.
  • दाव्यांना FACT किंवा INFERENCE असे लेबल लावणे.
  • डेटा नवीन (fresh) आहे की नाही हे ठरवणे.

एखादा दावा FACT लेबल तेव्हाच मिळवू शकतो जेव्हा तो कडक नियमांची पूर्तता करतो. उदाहरणार्थ, तो दोन स्वतंत्र स्त्रोतांकडून किंवा एका अधिकृत API कडून आलेला असावा. बाकी सर्व गोष्टी INFERENCE ठरतात.

ही पाइपलाइन (pipeline) वापरा:

  1. PLAN: प्रश्नाचे उप-प्रश्नांमध्ये (sub-queries) रूपांतर करा.
  2. HARVEST: विविध मार्गांनी डेटा मिळवा.
  3. NORMALIZE: स्ट्रक्चर्ड दावे काढण्यासाठी LLM वापरा. ही एकमेव पायरी आहे जिथे LLM वापरले जाते.
  4. CORROBORATE: दावे गटबद्ध करा आणि स्वतंत्र स्त्रोतांची संख्या मोजा.
  5. SCORE: लेबल लावण्यासाठी नियमांचा वापर करा.
  6. RENDER: तथ्ये, अनुमान आणि गहाळ माहिती दाखवा.

स्वातंत्र्य (Independence) ही महत्त्वाची गोष्ट आहे. एका ब्लॉगने दुसऱ्या ब्लॉगचा संदर्भ देणे म्हणजे दोन स्वतंत्र स्त्रोत नव्हेत. तथ्याची पुष्टी करण्यासाठी तुम्हाला वेगळे डोमेन्स (domains) किंवा अधिकृत API आवश्यक आहे.

विश्वसनीय एजंटसाठी या नियमांचे पालन करा:

  • एस्केलेशनचा (escalation) वापर करा: प्रथम वेब सर्च करून पहा. जर पहिली पायरी अयशस्वी ठरली तरच न्यूज इंजिन किंवा शैक्षणिक सर्चकडे वळा.
  • ताजेपणा (freshness) ट्रॅक करा: जुना डेटा 'stale' म्हणून लेबल करा. जुनी तथ्ये सध्याची असल्याचे भासवू नका.
  • त्रुटी समोर आणा: तुम्हाला काय सापडले नाही याची यादी करा. माहितीचा अभाव असणे म्हणजे अपयश आहे.
  • पुनरुत्पादकता (reproducibility) सुनिश्चित करा: एकाच क्वेरीसाठी प्रत्येक वेळी सारखीच लेबल्स मिळायला हवीत. जर लेबल्स बदलत असतील, तर याचा अर्थ LLM डेटाला स्कोअर करत आहे. त्या LLM कॉलला फंक्शनने (function) बदला.

ही पद्धत मॉडेलला तेच करू देते ज्यामध्ये ते सर्वोत्तम आहे: वाचणे आणि माहिती काढणे. हे मॉडेलला काय सत्य आहे हे ठरवण्यापासून रोखते.

Source: https://dev.to/hexisteme/how-to-make-an-ai-research-agent-label-facts-vs-inferences-a-deterministic-provenance-pipeline-5dfn

Optional learning community: https://t.me/GyaanSetuAi