ऐसे AI एजेंट्स बनाना जो hallucinate न करें

अधिकांश AI एजेंट्स प्रोडक्शन (production) में विफल हो जाते हैं। वे फंक्शन के नाम खुद बना लेते हैं। वे गलत पैरामीटर्स का अनुमान लगाते हैं। वे गलत टूल्स का उपयोग करते हैं।

फंक्शन कॉलिंग (Function calling) को इसे रोकने के लिए बनाया गया है। वास्तव में, यह अक्सर बड़े पैमाने पर एजेंट्स को आत्मविश्वास के साथ गलतियाँ करने पर मजबूर कर देता है।

इसे ठीक करने के लिए आपको बड़े मॉडल्स की आवश्यकता नहीं है। आपको बेहतर आर्किटेक्चर की आवश्यकता है।

विश्वसनीय एजेंट्स बनाने के लिए इन चार पैटर्न्स का पालन करें:

  1. टू-स्टेज राउटर (two-stage router) का उपयोग करें एक साथ मॉडल को 15 टूल्स न भेजें। इससे स्कीमा ब्लोट (schema bloat) होता है। इसके बजाय, पहले इंटेंट (intent) को वर्गीकृत करने के लिए एक तेज़ और सस्ते मॉडल का उपयोग करें। एक बार जब आप इंटेंट जान लेते हैं, तो केवल प्रासंगिक टूल्स ही दिखाएं। इससे त्रुटियां 60-70% तक कम हो जाती हैं।

  2. स्ट्रक्चर्ड आउटपुट (structured outputs) लागू करें प्रॉम्प्ट के माध्यम से मॉडल से वैध JSON वापस करने के लिए कहना बंद करें। API स्तर पर स्कीमा एनफोर्समेंट (schema enforcement) का उपयोग करें। एक स्कीमा हर बार 500 शब्दों के प्रॉम्प्ट पर भारी पड़ता है। यह गारंटी देता है कि मॉडल आपके नियमों का पालन करेगा।

  3. वैलिडेशन लेयर्स (validation layers) बनाएं हर टूल कॉल के लिए तीन चरणों की आवश्यकता होती है:

  • प्री-वैलिडेशन (Pre-validation)
  • मॉडल एग्जीक्यूशन (Model execution)
  • पोस्ट-वैलिडेशन (Post-validation)

यदि कोई टूल कॉल वैलिडेशन में विफल हो जाता है, तो त्रुटि को वापस मॉडल को भेजें। मॉडल दूसरी कोशिश में 80% बार अपनी पैरामीटर त्रुटियों को खुद ठीक कर लेते हैं।

  1. हार्ड लिमिट्स (hard limits) सेट करें इन्फिनिट लूप्स (infinite loops) आपके बजट को खत्म कर देते हैं। एक मॉडल टाइमआउट होने तक लूप में टूल्स को कॉल कर सकता है। हमेशा अधिकतम इटरेशन काउंट (maximum iteration count) सेट करें। हार्ड लिमिट्स एक आवश्यकता हैं, विकल्प नहीं।

विभिन्न कार्यों के लिए विभिन्न मॉडल्स का उपयोग करके अपनी लागत को अनुकूलित करें:

  • इंटेंट रूटिंग और आउटपुट फॉर्मेटिंग के लिए छोटे मॉडल्स का उपयोग करें।
  • टूल सिलेक्शन के लिए मिड-टियर मॉडल्स का उपयोग करें।
  • जटिल प्लानिंग के लिए केवल फ्रंटियर मॉडल्स (frontier models) का उपयोग करें।

यह दृष्टिकोण गुणवत्ता में लगभग बिना किसी कमी के लागत को 10x से 15x तक कम कर देता है।

विश्वसनीय AI सिस्टम डिज़ाइन के बारे में है। बाधाओं (constraints), वैलिडेशन और ऑर्केस्ट्रेशन (orchestration) पर ध्यान केंद्रित करें।

विश्वसनीय एजेंट्स बनाने के लिए आप किन पैटर्न्स का उपयोग करते हैं?

स्रोत: https://dev.to/aiwave/building-ai-agents-that-dont-hallucinate-a-practical-guide-to-function-calling-in-2026-3dde