AI पर आँख मूँदकर भरोसा करना बंद करें: AI Agent Hallucinations को कैसे कम करें

AI agents अक्सर गलतियाँ करते हैं। वे कोड हैलुसिनेट (hallucinate) करते हैं, बिज़नेस नियमों का उल्लंघन करते हैं, या गलत टूल्स चुन लेते हैं।

अधिकांश लोग इसे बेहतर प्रॉम्प्ट्स (prompts) के माध्यम से ठीक करने की कोशिश करते हैं। यह एक गलती है।

यदि आप विश्वसनीय AI agents चाहते हैं, तो आपको स्पष्ट सीमाओं (constraints) के साथ सिस्टम डिज़ाइन करने होंगे। आपको एक "Typist" से "Architect" बनने की आवश्यकता है।

Typist बनाम Architect

अधिकांश उपयोगकर्ता Typists की तरह काम करते हैं:

  • आप पूछते हैं: "Implement an authentication system."
  • AI संरचना (structure), लाइब्रेरीज़ और फ़ोल्डर लेआउट तय करता है।
  • हर एक निर्णय हैलुसिनेशन का एक अवसर है।

इंजीनियर्स Architects की तरह काम करते हैं:

  • आप पहले संरचना और लाइब्रेरीज़ को परिभाषित करते हैं।
  • आप सीमाएँ (constraints) और नियम निर्धारित करते हैं।
  • AI केवल आपकी सीमाओं के भीतर ही कोड लिखता है।

AI इसलिए हैलुसिनेट नहीं करता क्योंकि उसमें कोडिंग कौशल की कमी है। यह इसलिए हैलुसिनेट करता है क्योंकि यह उस कॉन्टेक्स्ट (context) का अनुमान लगाने की कोशिश करता है जो आपके दिमाग में है लेकिन आपने कभी साझा नहीं किया।

रणनीति 1: Context Files

हर चैट में निर्देशों को दोहराना बंद करें। AI को एक स्थायी ढांचा (framework) देने के लिए कॉन्फ़िगरेशन फ़ाइलों का उपयोग करें। अलग-अलग टूल्स अलग-अलग मानकों का उपयोग करते हैं:

• Claude Code के लिए CLAUDE.md • open source ecosystems के लिए AGENTS.md • Cursor के लिए .cursorrules • GitHub Copilot के लिए .copilotrules

प्रो टिप: एक केंद्रीय AGENTS.md फ़ाइल बनाएँ और symlinks का उपयोग करें ताकि अन्य सभी फ़ाइलें स्वचालित रूप से अपडेट हो जाएँ।

रणनीति 2: ARD (Architecture Decision Records)

किसी एजेंट को कुछ बनाने के लिए कहने से पहले, एक ADR बनाएँ। यह दस्तावेज़ AI के लिए "अनुमान" लगाने की आवश्यकता को समाप्त कर देता है।

एक अच्छे ADR में शामिल हैं:

  • बिल्कुल क्या बनाना है।
  • कौन सी फ़ाइलें बनानी हैं और किन फ़ाइलों को कभी नहीं छूना है।
  • उपयोग किए जाने वाले विशिष्ट tech stack और लाइब्रेरीज़।
  • स्पष्ट सीमाएँ (जैसे, "No state in memory")।
  • उन चीज़ों की सूची जिन्हें तय करने की एजेंट को अनुमति नहीं है।

जब एक Orchestrator को ADR प्राप्त होता है, तो डिज़ाइन संबंधी निर्णय पहले ही पूरे हो चुके होते हैं। Developer agent बस spec को कोड में अनुवादित करता है। यह त्रुटियों को कम करता है और आपके codebase को सुसंगत (consistent) रखता है।

मैं विश्वसनीय AI agent workflows बनाने पर एक सीरीज़ शुरू कर रहा हूँ। अगले भागों में, मैं system prompt composition और उन्नत इंजीनियरिंग तकनीकों (advanced engineering techniques) को कवर करूँगा।

स्रोत: https://dev.to/devjohanadrian/el-problema-de-la-confianza-ciega-como-reducir-las-alucinaciones-en-agentes-de-ia-parte-1-2aah