Microsoft FastContext कोडिंग एजंटचे टोकन्स ६०% ने कमी करते
कोडिंग एजंट्स कोड शोधण्यात खूप वेळ वाया घालवतात.
जेव्हा एखादा एजंट रिपॉझिटरी (repository) शोधतो, तेव्हा तो अनेकदा प्रत्येक फाईल त्याच्या स्वतःच्या कॉन्टेक्स्ट विंडोमध्ये (context window) खेचून घेतो. यामुळे एजंटने कोडिंग सुरू करण्यापूर्वीच त्याचा "डेस्क" कच्च्या डेटाने भरून जातो.
Microsoft च्या संशोधकांनी GPT-5.4 च्या ट्रेसेसचा (traces) अभ्यास केला आणि त्यांना एक मोठी समस्या आढळली:
- कोड शोधणे आणि वाचणे यासाठी सर्व टूल वापरापैकी ५६.२% वेळ लागला.
- यामुळे मुख्य एजंटच्या एकूण टोकन्सपैकी ४६.५% वापरले गेले.
यातील बहुतेक डेटा कमी महत्त्वाचा (low signal) असतो. एजंटला फक्त काही ओळींची गरज असते, परंतु तो संपूर्ण फाईल सोबत घेतो.
हे सोडवण्यासाठी Microsoft ने FastContext लाँच केले.
मुख्य एजंटने स्वतः शोध घेण्याऐवजी, तो एका समर्पित एक्सप्लोरर सब-एजंटचा (explorer subagent) वापर करतो. हे एका ग्रंथपालासारखे (librarian) आहे असे समजा. तुम्ही तुमच्या डेस्कवर बसलेले असता आणि माहिती शोधण्यासाठी ग्रंथपालाला पुस्तकांच्या कपाटांकडे (stacks) पाठवता.
हे कसे कार्य करते:
- मुख्य एजंट एक्सप्लोररला नैसर्गिक भाषेतील (natural language) क्वेरी पाठवतो.
- एक्सप्लोरर Read, Glob आणि Grep सारखी 'रीड-ओन्ली' (read-only) टूल्स वापरतो.
- एक्सप्लोरर त्याच्या स्वतःच्या वेगळ्या कॉन्टेक्स्टमध्ये कोड शोधतो.
- संपूर्ण फाईल परत पाठवण्याऐवजी, तो "फाईल-लाईन सायटेशन" (file-line citation) पाठवतो.
- सायटेशन असे दिसते: path/to/file.ts:88-104.
मुख्य एजंटला अनावश्यक मजकूर न घेता नेमके स्थान मिळते.
याचे परिणाम लक्षणीय आहेत:
- टोकन वापरामध्ये ६०% पर्यंत घट.
- टास्क रिझोल्यूशन रेटमध्ये (task resolution rates) ५.५% पर्यंत वाढ.
एक्सप्लोरर मॉडेल (4B-30B) दोन प्रशिक्षण टप्प्यांमधून जाते. पहिले, 'सुपरवाइज्ड फाईन-ट्यूनिंग' (supervised fine-tuning) त्याला कसे शोधायचे हे शिकवते. दुसरे, 'टास्क-ग्राउंडेड रिइन्फोर्समेंट लर्निंग' (task-grounded reinforcement learning) हे सुनिश्चित करते की त्याला असा पुरावा मिळेल जो मुख्य एजंटला समस्या सोडवण्यास खरोखर मदत करेल.
अनावश्यक माहितीचा ढिगारा (haystack) सब-एजंटकडे सोपवून, मुख्य एजंट त्याच्या प्रत्यक्ष तर्कशक्तीसाठी (reasoning) आणि कोडिंगसाठी कॉन्टेक्स्ट विंडो स्वच्छ ठेवतो.
पर्यायी लर्निंग कम्युनिटी: https://t.me/GyaanSetuAi