वह नल इनपुट जिसने मेरे प्रोडक्शन एजेंट को विफल कर दिया
डेमो तीन हफ्तों तक बिल्कुल सही चला। हर टेस्ट इनपुट काम कर गया। हर आउटपुट सही जगह पहुँचा। मुझे लगा कि सिस्टम भरोसेमंद है।
फिर एक सप्लायर ने खाली सब्जेक्ट लाइन वाला एक ईमेल भेजा।
एजेंट ने ऑर्डर रेफरेंस निकालने के लिए एक स्ट्रिंग की उम्मीद की थी। इसके बजाय, उसे एक नल वैल्यू मिली। यह क्रैश नहीं हुआ। अगर क्रैश हो जाता तो बेहतर होता। इसने एक नकली ऑर्डर रेफरेंस जेनरेट कर दिया जो असली जैसा लग रहा था। डाउनस्ट्रीम सिस्टम ने इसे प्रोसेस कर लिया। चार घंटे तक किसी ने ध्यान नहीं दिया।
डेमो में वे इनपुट इस्तेमाल होते हैं जिनकी आप उम्मीद करते हैं। प्रोडक्शन में वे इनपुट इस्तेमाल होते हैं जिनकी आप उम्मीद नहीं करते।
मैं aienterprise.dk पर एजेंट ऑपरेशन चलाता हूँ। मैंने पूरा ट्रेस देखा। प्रॉम्प्ट ने एजेंट को सब्जेक्ट लाइन से ऑर्डर रेफरेंस निकालने के लिए कहा था। यह तब काम करता है जब सब्जेक्ट लाइन मौजूद हो।
यदि सब्जेक्ट लाइन गायब है, तो एक लार्ज लैंग्वेज मॉडल उस कमी को पूरा कर देता है। वह कुछ ऐसा बना देता है जो सही लगता है। यह रैंडम शोर नहीं है। यह स्ट्रक्चर्ड शोर है। यह खतरनाक है क्योंकि यह सही दिखता है। आप विफलता को पकड़ सकते हैं
Source: https://dev.to/kimlike/the-null-input-that-broke-my-production-agent-and-what-fixed-it-1e77
Optional learning community: https://t.me/GyaanSetuAi