तुमच्या मॉडेलचे फाईन-ट्यूनिंग करणे थांबवा. तुमची आर्किटेक्चर हीच समस्या आहे.

डेमो उत्तम दिसतात. प्रोडक्शन सिस्टम्स वेगळ्या दिसतात. या दोघांमध्ये एक तफावत आहे.

लोक आता प्रत्येक गोष्टीला 'एजंट' म्हणतात. मेमरी असलेला चॅटबॉट म्हणजे एजंट. लूप असलेला स्क्रिप्ट म्हणजे एजंट. या चुकीमुळे इंजिनिअरिंगमध्ये चुका होतात. तुम्ही साध्या कामांसाठी गरजेपेक्षा जास्त इंजिनिअरिंग (over-engineering) करता आणि गुंतागुंतीच्या कामांसाठी अपुरे इंजिनिअरिंग (under-engineering) करता.

एका एजंटला उद्दिष्ट (objective) असणे आवश्यक आहे. तो फक्त सूचनांचे पालन करत नाही. तो पुढे काय करायचे हे स्वतः ठरवतो. तो अपयशाचे (failure) व्यवस्थापन करतो. त्याला कधी थांबायचे हे माहित असते.

तुमची सिस्टम तपासण्यासाठी या नियमांचा वापर करा:

  • जर प्रत्येक पायरीवर मानवाला मार्गदर्शन करावे लागत असेल, तर ती एक चॅट इंटरफेस आहे.
  • जर ती फेल झालेल्या टूल कॉल मधून सावरू शकत असेल, तर तो एक एजंट आहे.
  • जर ती एका ध्येयाचे उप-कार्यांमध्ये (subtasks) विभाजन करत असेल, तर तो खरा एजंट आहे.

यशस्वी टीम्स नवीन मॉडेल्सच्या मागे धावत नाहीत. त्या विशिष्ट कामासाठी बनवलेल्या (purpose-built) पायपलाईन्स तयार करतात. त्या या तीन गोष्टींवर लक्ष केंद्रित करतात:

  • टूल डिझाइन: इंटरफेस किती सुटसुटीत आहे?
  • फेल्युअर हँडलिंग: जेव्हा एखादे टूल काहीही उत्तर देत नाही, तेव्हा काय होते?
  • ऑब्झर्व्हेबिलिटी: तुम्ही प्रत्येक निर्णयाचा मागोवा (trace) घेऊ शकता का?

तुम्ही वापरत असलेले फ्रेमवर्क तुमच्या पॅटर्नपेक्षा कमी महत्त्वाचे आहे. मी वेगवेगळ्या फ्रेमवर्कमध्ये आर्किटेक्चर पुन्हा तयार केले आहेत आणि निकाल तेच राहतात. फ्रेमवर्क हे केवळ मचान (scaffolding) आहे. आर्किटेक्चर ही प्रत्यक्ष इमारत आहे.

या पॅटर्नचे अनुसरण करा:

  • आधी नियोजन करा आणि मग अंमलबजावणी करा. तर्क करण्यासाठी (reasoning) एक पायरी आणि कृतीसाठी (action) वेगळी पायरी वापरा.
  • रिट्रिव्हल (retrieval) आणि रिझनिंग (reasoning) वेगळे ठेवा. कॉन्टेक्स्ट मिळवणे आणि कॉन्टेक्स्ट वापरणे ही दोन वेगळी कामे आहेत.
  • स्पष्ट हँडऑफ्स (handoffs) वापरा. जेव्हा एक एजंट दुसऱ्या एजंटकडे काम सोपवतो, तेव्हा स्ट्रक्चर्ड लॉग्सचा वापर करा.

RAG हे मानक (standard) आहे, परंतु चंकिंग (chunking) अनेकदा चुकीचे असते. जर तुम्ही डॉक्युमेंट्सचे चुकीच्या पद्धतीने विभाजन केले, तर मॉडेल कॉन्टेक्स्ट गमावते. यामुळे हॅलुसिनेशन (hallucinations) होतात.

जर तुमची RAG पायपलाईन निरुपयोगी निकाल देत असेल, तर तुमच्या चंकिंग आणि मेटाडेटाकडे लक्ष द्या. एम्बेडिंग मॉडेलला दोष देऊ नका.

इंजिनिअरिंगमधील आव्हान म्हणजे तुम्ही विश्वास ठेवू शकता अशा सिस्टम्स तयार करणे. गव्हर्नन्स (governance), ऑब्झर्व्हेबिलिटी आणि विश्वसनीय टूल वापराकडे लक्ष केंद्रित करा. फक्त बेंचमार्कच्या मागे धावू नका.

सर्वोत्तम इंजिनिअर्स सिस्टम डिझाइनवर लक्ष केंद्रित करतील. ते असे AI सिस्टम्स तयार करतील ज्यांची देखभाल इतर लोक करू शकतील आणि ज्यांच्यावर विश्वास ठेवता येईल.

स्रोत: https://dev.to/aibughunter/stop-fine-tuning-your-model-your-architecture-is-the-problem-3kkg