FastContext: सर्च को सॉल्विंग से अलग करें
कोडिंग एजेंट्स कोड खोजने में बहुत अधिक समय बर्बाद करते हैं।
माइक्रोसॉफ्ट और शंघाई जियाओ टोंग यूनिवर्सिटी ने इस समस्या का अध्ययन किया। उन्होंने पाया कि कोड खोजने में टूल उपयोग के 56.2% टर्न खर्च होते हैं। यह कुल टोकन का 46.5% भी उपयोग करता है।
जब एक ही मॉडल कोड खोजता है और उसे ठीक करता है, तो उसकी मेमोरी अव्यवस्थित हो जाती है। यह बेकार के फाइल स्निपेट्स और असफल अनुमानों से भर जाती है। इससे रीजनिंग (reasoning) कठिन हो जाती है।
FastContext इसे हल करता है। यह रिपॉजिटरी एक्सप्लोरेशन के लिए एक अलग सब-एजेंट का उपयोग करता है।
यह कैसे काम करता है: • एक्सप्लोरर एजेंट सही फाइलें और लाइन नंबर ढूंढता है। • यह मुख्य एजेंट को लंबे सारांश (summaries) नहीं भेजता है। • यह केवल सटीक साक्ष्यों का एक छोटा समूह भेजता है। • मुख्य एजेंट बग को ठीक करने पर केंद्रित रहता है।
यह डिज़ाइन दो बड़े लाभ प्रदान करता है:
- कम शोर (noise)। मुख्य एजेंट को हर गलत रास्ते (dead end) का सामना नहीं करना पड़ता।
- बेहतर दक्षता। छोटे मॉडल (4B से 30B पैरामीटर्स) सर्च कार्य को प्रभावी ढंग से संभाल सकते हैं।
परिणाम स्पष्ट हैं। Mini-SWE-Agent के साथ FastContext का उपयोग करने से कार्य की सफलता में 5.5% का सुधार हुआ। इसने टोकन के उपयोग को भी 60% तक कम कर दिया।
एजेंट बनाने के लिए सबक:
- सर्च को एक मुख्य कार्य के रूप में मानें, न कि एक सहायक कदम के रूप में।
- फाइल पाथ और लाइन नंबर भेजें, न कि पूरी चैट हिस्ट्री।
- मॉडल्स को इस तरह प्रशिक्षित करें कि वे अगले मॉडल के लिए स्ट्रक्चर्ड डेटा प्रदान कर सकें।
- अपने टोकन उपयोग पर उतनी ही बारीकी से नज़र रखें जितनी अपनी सफलता दर पर।
एक ही मॉडल से सब कुछ करने के लिए मजबूर न करें। सर्च के लिए एक विशेषज्ञ (specialist) होने से सॉल्वर अधिक तेज़ और विश्वसनीय बन जाता है।
वैकल्पिक लर्निंग कम्युनिटी: https://t.me/GyaanSetuAi