Microsoft FastContext કોડિંગ એજન્ટ ટોકન્સમાં 60% નો ઘટાડો કરે છે
કોડિંગ એજન્ટ્સ કોડ શોધવામાં ઘણો સમય બગાડે છે.
જ્યારે કોઈ એજન્ટ રિપોઝિટરી (repository) શોધે છે, ત્યારે તે ઘણીવાર દરેક ફાઇલને તેના પોતાના કોન્ટેક્સ્ટ વિન્ડો (context window) માં ખેંચી લે છે. એજન્ટ કોડિંગ શરૂ કરે તે પહેલાં જ આ પ્રક્રિયા તેના "ડેસ્ક" ને કાચા ડેટાથી ભરી દે છે.
Microsoft ના સંશોધકોએ GPT-5.4 ટ્રેસિસ (traces) નો અભ્યાસ કર્યો અને એક મોટી સમસ્યા શોધી:
- કોડ શોધવામાં અને વાંચવામાં તમામ ટૂલના ઉપયોગના 56.2% ભાગનો ઉપયોગ થયો.
- તેણે મુખ્ય એજન્ટના કુલ ટોકન્સના 46.5% વાપરી નાખ્યા.
આ ડેટામાંથી મોટાભાગનો ભાગ ઓછી ઉપયોગીતા ધરાવતો (low signal) છે. એજન્ટને માત્ર થોડી લાઈનોની જરૂર હોય છે, પરંતુ તે આખી ફાઇલ સાથે રાખે છે.
આ સમસ્યાના ઉકેલ માટે Microsoft એ FastContext રિલીઝ કર્યું છે.
મુખ્ય એજન્ટ દ્વારા શોધ કરવાને બદલે, તે એક સમર્પિત explorer subagent નો ઉપયોગ કરે છે. આને એક લાઈબ્રેરિયન તરીકે સમજો. તમે તમારા ડેસ્ક પર રહો છો, અને માહિતી શોધવા માટે લાઈબ્રેરિયનને પુસ્તકોના વિભાગમાં મોકલો છો.
તે કેવી રીતે કામ કરે છે:
- મુખ્ય એજન્ટ explorer ને નેચરલ લેંગ્વેજ ક્વેરી (natural language query) મોકલે છે.
- explorer Read, Glob, અને Grep જેવા read-only ટૂલ્સનો ઉપયોગ કરે છે.
- explorer તેના પોતાના અલગ કોન્ટેક્સ્ટમાં કોડ શોધે છે.
- આખી ફાઇલ પાછી મોકલવાને બદલે, તે "file-line citation" મોકલે છે.
- citation આ રીતે દેખાય છે:
path/to/file.ts:88-104.
મુખ્ય એજન્ટને ભારે ટેક્સ્ટ વગર ચોક્કસ લોકેશન મળી જાય છે.
પરિણામો નોંધપાત્ર છે:
- ટોકન વપરાશમાં 60% સુધીનો ઘટાડો.
- ટાસ્ક રિઝોલ્યુશન રેટમાં (task resolution rates) 5.5% સુધીનો વધારો.
explorer મોડેલ (4B-30B) બે તાલીમ તબક્કાઓમાંથી પસાર થાય છે. પ્રથમ, supervised fine-tuning તેને કેવી રીતે શોધવું તે શીખવે છે. બીજું, task-grounded reinforcement learning એ સુનિશ્ચિત કરે છે કે તે એવા પુરાવા શોધે જે ખરેખર મુખ્ય એજન્ટને સમસ્યા ઉકેલવામાં મદદ કરે.
"haystack" (બિનજરૂરી ડેટાનો ઢગલો) ને subagent પર સોંપવાથી, મુખ્ય એજન્ટ તેના વાસ્તવિક રિઝનિંગ (reasoning) અને કોડિંગ માટે તેના કોન્ટેક્સ્ટ વિન્ડોને સ્વચ્છ રાખે છે.
Optional learning community: https://t.me/GyaanSetuAi