𝗔𝗜 𝗠𝗼𝗱𝗲𝗹 𝗙𝗮𝗶𝗹𝗼𝘃𝗲𝗿 𝗗𝗿𝗶𝗹𝗹𝘀: 𝗣𝗿𝗼𝘃𝗶𝗱𝗲𝗿𝘀 𝗻𝗶𝗸𝗮𝗺𝗶 𝘇𝗮𝗼𝗹𝘆𝗮 𝗮𝗽𝗮𝘁 𝗮𝗴𝗲𝗻𝘁𝘀 𝘂𝗽𝗮𝘆𝘂𝗸𝘁 𝗿𝗮𝗵𝗮
केवळ आकृतीमध्ये (diagram) काम करणारा मॉडेल फॉलबॅक म्हणजे लवचिकता (resilience) नाही. ते फक्त चांगल्या ब्रँडिंगसह तयार केलेले एक नियोजन आहे.
जर तुमचे उत्पादन AI एजंट्स वापरत असेल, तर एक संथ प्रदाता (provider) किंवा रेट-लिमिट स्पाइक (rate-limit spike) वापरकर्त्याचा अनुभव खराब करू शकतो. खरा धोका पूर्णपणे सेवा बंद होण्यात नाही. खरा धोका अर्धवट काम करणाऱ्या फॉलबॅक मध्ये आहे. जेव्हा बॅकअप मॉडेल वापरकर्त्याला न सांगता डेटा फॉरमॅट बदलते, टूल स्टेट (tool state) गमावते किंवा साइटेशन्स (citations) वगळते, तेव्हा असे घडते.
प्रोडक्शन ट्रॅफिकमुळे तुम्हाला कठीण अनुभवातून शिकावे लागण्यापूर्वी तुम्ही व्यावहारिक फेलओव्हर ड्रिल्स (failover drills) चालवणे आवश्यक आहे.
प्रत्येक मॉडेल एकमेकांशी बदलण्यायोग्य (interchangeable) बनवणे हे उद्दिष्ट नाही. प्राथमिक मॉडेल निकामी झाल्यावर वर्कफ्लो सुरक्षित आणि प्रामाणिक ठेवणे हे उद्दिष्ट आहे.
बहुतेक टीम्स एक साधी साखळी वापरतात: प्रथम प्राथमिक मॉडेल वापरून पहा, नंतर बॅकअप, आणि त्यानंतर एरर दाखवा. यामुळे AI सिस्टममधील वास्तविक समस्यांकडे दुर्लक्ष होते. AI सूक्ष्म मार्गांनी निकामी होते:
• बॅकअप मॉडेल वेगवेगळ्या फील्ड अर्थांसह JSON परत करते. • स्वस्त मॉडेल तुमच्या टूल पॉलिसीजकडे दुर्लक्ष करते. • प्रदाता टोकन्स खूप संथपणे स्ट्रीम करतो. • फॉलबॅक मॉडेलमध्ये तेच फंक्शन-कॉलिंग (function-calling) फॉरमॅट नसते. • एजंट पुन्हा प्रयत्न करतो आणि वापरकर्त्याचा बजेट संपवतो.
AI मॉडेल फेलओव्हर ड्रिल ही एक नियोजित चाचणी आहे. उत्पादन सुरक्षित राहते की नाही हे पाहण्यासाठी तुम्ही मुद्दाम मॉडेल पाथ (model path) तोडता.
एक चांगली ड्रिल खालील गोष्टी तपासते:
- वर्कफ्लो चालू राहतो का?
- तो स्कीमा (schema) आणि टूल स्टेट (tool state) जतन करतो का?
- तो खर्च आणि लेटन्सी (latency) बजेटच्या मर्यादेत राहतो का?
- तो पुढच्या वेळेसाठी रिग्रेशन टेस्ट (regression test) तयार करतो का?
प्रत्येक प्रॉम्प्ट अनेक प्रदात्यांसोबत (providers) काम करेल असे करून सुरुवात करू नका. ज्या वर्कफ्लोमध्ये अपयश आल्यास विश्वासार्हता कमी होते, तिथून सुरुवात करा.
उच्च-प्राधान्य असलेले वर्कफ्लो:
- ग्राहक-केंद्रित चॅट (Customer-facing chat)
- रिपोर्ट जनरेशन (Report generation)
- टूल्स कॉल करणारे एजंट वर्कफ्लो
- साइटेशन्ससह RAG उत्तरे
- स्ट्रक्चर्ड फील्ड्समध्ये डेटा एक्सट्रॅक्शन
सर्वोत्तम डिझाइन मॉडेलच्या नावांच्या यादीने नाही, तर एका कराराने (contract) सुरू होते. फॉलबॅक कॉन्ट्रॅक्ट सर्व प्रदात्यांमध्ये काय सत्य राहिले पाहिजे हे परिभाषित करते. सपोर्ट एजंटसाठी, यामध्ये खालील गोष्टींचा समावेश असू शकतो:
- इनपुट आणि आउटपुट शेप्स (shapes)
- कॉन्फिडन्स लेव्हल्स आणि साइटेशन्स
- टूल परवानग्या आणि उर्वरित बजेट
- क्वालिटी गेट्स आणि व्हॅलिडेशन रूल्स
कधीकधी योग्य फॉलबॅक म्हणजे दुसरे मॉडेल नसते. ते खालीलपैकी काही असू शकते:
- वापरकर्त्याकडून पुष्टीकरण (confirmation) मागणे
- अंशतः निकाल (partial result) परत करणे
- काम नंतर करण्यासाठी रांगेत (queue) लावणे
- वर्कफ्लो मानवी पुनरावलोकनासाठी (human review) पाठवणे
प्रत्येक अपयशाला दुसरा मॉडेल वापरण्याचे कारण मानणे थांबवा. त्रुटी आणि फॉरमॅट्स सामान्य करण्यासाठी मॉडेल अडॅप्टरचा वापर करा. यामुळे तुमचे ड्रिल्स सोपे होतात कारण तुम्ही तुमच्या मुख्य लॉजिकमध्ये बदल न करता अपयशाचे सिम्युलेशन करू शकता.
सुरुवात करण्यासाठी हे तीन ड्रिल्स चालवा:
- द टाइमआउट ड्रिल: प्राथमिक मॉडेलला 'स्लीप' मोडमध्ये जाण्यास भाग पाडा. फॉलबॅक तुमच्या लेटन्सी बजेटमध्ये होतोय की नाही याची खात्री करा.
- द रेट लिमिट ड्रिल: 429 एरर निर्माण करा. तुमचे सिस्टम 'बॅकऑफ' वापरते आणि टेनंट बजेटचे संरक्षण करते की नाही याची खात्री करा.
- द स्कीमा ड्रिल: मॉडेलला अवैध JSON परत देण्यास भाग पाडा. तुमचे सिस्टम आउटपुटची पडताळणी करते किंवा वर्कफ्लो सुरक्षितपणे थांबवते की नाही याची खात्री करा.
वापरकर्त्यांना तुमच्या प्रोव्हायडरच्या तपशीलांची गरज नसते. त्यांना प्रामाणिक वर्तणुकीची गरज असते.
चुकीचा संदेश: काहीतरी चूक झाली आहे. चांगला संदेश: मी अजूनही मदत करू शकतो, परंतु थेट कृती (live actions) तात्पुरत्या स्वरूपात मर्यादित आहेत. मी तुमच्या पुनरावलोकनासाठी पुढील पायरीचा मसुदा तयार करू शकतो.
सर्व काही ठीक आहे असे भासवून नाही, तर स्पष्ट मर्यादांद्वारे विश्वास निर्माण करा.
ऐच्छिक लर्निंग कम्युनिटी: https://t.me/GyaanSetuAi