FastContext: సెర్చ్ మరియు సాల్వింగ్ను వేరు చేయండి
కోడింగ్ ఏజెంట్లు కోడ్ కోసం వెతకడానికే చాలా సమయాన్ని వృథా చేస్తున్నాయి.
మైక్రోసాఫ్ట్ మరియు షాంఘై జియావో టోంగ్ యూనివర్సిటీ ఈ సమస్యను అధ్యయనం చేశాయి. కోడ్ కోసం వెతకడమే టూల్ యూజ్ టర్న్స్లో (tool use turns) 56.2% సమయాన్ని తీసుకుంటుందని, అలాగే మొత్తం టోకెన్లలో 46.5% వాడబడుతుందని వారు కనుగొన్నారు.
ఒకే మోడల్ కోడ్ను వెతికి, అదే సమయంలో దాన్ని సరిచేయడానికి ప్రయత్నించినప్పుడు, దాని మెమరీ గందరగోళంగా మారుతుంది. అనవసరమైన ఫైల్ స్నిప్పెట్లు (file snippets) మరియు విఫలమైన అంచనాలతో అది నిండిపోతుంది. దీనివల్ల రీజనింగ్ (reasoning) చేయడం కష్టమవుతుంది.
FastContext దీనిని పరిష్కరిస్తుంది. ఇది రిపోజిటరీ ఎక్స్ప్లోరేషన్ (repository exploration) కోసం ఒక ప్రత్యేక సబ్-ఏజెంట్ను ఉపయోగిస్తుంది.
ఇది ఎలా పనిచేస్తుంది: • ఎక్స్ప్లోరర్ ఏజెంట్ సరైన ఫైల్లు మరియు లైన్ నంబర్లను కనుగొంటుంది. • ఇది మెయిన్ ఏజెంట్కు పెద్ద సమ్మరీలను పంపదు. • ఇది కేవలం ఖచ్చితమైన ఆధారాల యొక్క చిన్న ప్యాకేజీని మాత్రమే పంపుతుంది. • మెయిన్ ఏజెంట్ బగ్ను సరిచేయడంపైనే దృష్టి పెడుతుంది.
ఈ డిజైన్ రెండు ప్రధాన ప్రయోజనాలను అందిస్తుంది:
- తక్కువ నాయిస్ (noise). మెయిన్ ఏజెంట్ ప్రతి విఫల ప్రయత్నాన్ని (dead end) చూడాల్సిన అవసరం ఉండదు.
- మెరుగైన సామర్థ్యం. చిన్న మోడల్స్ (4B నుండి 30B పారామీటర్లు) సెర్చ్ టాస్క్ను సమర్థవంతంగా నిర్వహించగలవు.
ఫలితాలు స్పష్టంగా ఉన్నాయి. Mini-SWE-Agentతో FastContextను ఉపయోగించడం వల్ల టాస్క్ సక్సెస్ రేటు 5.5% పెరిగింది. అంతేకాకుండా, టోకెన్ వినియోగం 60% తగ్గింది.
ఏజెంట్లను నిర్మించడానికి పాఠాలు:
- సెర్చ్ను ఒక సైడ్ స్టెప్గా కాకుండా, ఒక ప్రధాన టాస్క్గా పరిగణించండి.
- పూర్తి చాట్ హిస్టరీలను కాకుండా, ఫైల్ పాత్లు మరియు లైన్ నంబర్లను పంపండి.
- తదుపరి మోడల్ కోసం స్ట్రక్చర్డ్ డేటాను (structured data) అందించేలా మోడల్స్ను ట్రైన్ చేయండి.
- మీ సక్సెస్ రేటును ఎంత నిశితంగా గమనిస్తారో, టోకెన్ వినియోగాన్ని కూడా అంతే నిశితంగా గమనించండి.
ఒకే మోడల్తో అన్ని పనులు చేయించాలని ఒత్తిడి చేయకండి. సెర్చ్ కోసం ఒక స్పెషలిస్ట్ ఉండటం వల్ల సాల్వర్ (solver) మరింత వేగంగా మరియు నమ్మదగినదిగా మారుతుంది.
ఐచ్ఛిక అభ్యాస కమ్యూనిటీ: https://t.me/GyaanSetuAi