મોટાભાગની એન્જિનિયરિંગ ટીમો હજુ પણ AI એજન્ટ્સનું મૂલ્યાંકન એવી જ રીતે કરે છે જે રીતે તેઓ ગણિતના હોમવર્કનું ગ્રેડિંગ કરે છે. તેઓ માત્ર અંતિમ આઉટપુટ જુએ છે. જો જવાબ સાચો હોય, તો તેઓ રિલીઝને મંજૂરી આપી દે છે અને આગળ વધી જાય છે. આ એક જોખમી શોર્ટકટ છે. એક સાચો જવાબ અંદરથી સંપૂર્ણપણે ખામીયુક્ત સિસ્ટમને છુપાવી શકે છે.
વાસ્તવિક વાર્તા એ માર્ગમાં છુપાયેલી છે જે એજન્ટ ત્યાં સુધી પહોંચવા માટે અપનાવે છે. તે માર્ગને એજન્ટ ટ્રેજેક્ટરી (agent trajectory) કહેવામાં આવે છે. તેમાં દરેક ટૂલ કોલ (tool call), દરેક રાઉટિંગ નિર્ણય અને એજન્ટ જ્યાં ફરીથી વિચારવા માટે અટકે છે તે દરેક વિરામનો સમાવેશ થાય છે. તમે તેને એજન્ટના 'બ્રેડક્રમ્સ' (breadcrumbs - નિશાન) તરીકે વિચારી શકો છો. અને જો તમે ફક્ત મુકામનું જ નિરીક્ષણ કરો છો, તો તમે રસ્તામાં વિખરાયેલા તમામ ચેતવણીના સંકેતો ચૂકી જશો.
અસ્તવ્યસ્ત માર્ગો સાથેની સમસ્યા
એક એજન્ટ નશામાં ધૂત ડ્રાઈવરની જેમ વર્તતા હોવા છતાં સાચા જવાબ સુધી પહોંચી શકે છે. તે ખોટા ટૂલ્સ દ્વારા વિચલિત થાય છે, રાઉટર પર પાછું ફરે છે, અને અંતે કંઈક સાચું શોધતા પહેલા બિનજરૂરી તર્કના ચક્રમાં ફસાય છે. વપરાશકર્તાને સ્વચ્છ પરિણામ દેખાય છે. પરંતુ પડદા પાછળ, સિસ્ટમ સંસાધનો (resources) વેડફી રહી છે અને જોખમ વધારી રહી છે.
વ્યવહારમાં આ અસ્તવ્યસ્તતા ખરેખર કેવી દેખાય છે?
પ્રથમ, બિનજરૂરી ટૂલ કોલ (redundant tool call) છે. એજન્ટ તમારા કસ્ટમર ડેટાબેઝમાં ક્વેરી કરે છે, પરિણામ મેળવે છે, પાંચ સેકન્ડ પછી તેને ભૂલી જાય છે, અને ફરીથી સમાન પેરામીટર્સ સાથે તે જ રેકોર્ડની ક્વેરી કરે છે. આ ડેટાની સમસ્યા નથી. આ ટ્રેજેક્ટરીની સમસ્યા છે. એજન્ટ સ્ટેટ (state) જાળવી રાખવામાં નિષ્ફળ રહ્યો, તેથી તે કામનું પુનરાવર્તન કરે છે.
ત્યારબાદ 'ખોટું-ટૂલ-પહેલા' (wrong-tool-first) પેટર્ન આવે છે. કોડિંગ એજન્ટ કદાચ એવા ફંક્શન ડેફિનેશન માટે વેબ પર શોધવાનો પ્રયાસ કરી શકે છે જે પહેલેથી જ લોકલ રિપોઝિટરીમાં ઉપલબ્ધ છે. અથવા સપોર્ટ એજન્ટ બિલિંગ API નો ઉપયોગ કરી શકે છે જ્યારે વપરાશકર્તાના પ્રશ્ન માટે સ્પષ્ટપણે એકાઉન્ટ સેટિંગ્સ ટૂલની જરૂર હોય. દરેક ખોટો નિર્ણય ટોકન્સ વેડફાય છે, લેટન્સી (latency) વધારે છે, અને વાસ્તવિક કામ શરૂ થાય તે પહેલાં કોન્ટેક્સ્ટ લિમિટ્સ (context limits) પૂરી થઈ જવાની શક્યતા વધારે છે.
રાઉટર લૂપ્સ (Router loops) એ બીજો એક ચેતવણીરૂપ સંકેત છે. ડિસિઝન નોડ (decision node) નિર્ણય લઈ શકતો નથી. તે કાર્યને બ્રાન્ચ A પર મોકલે છે, પોતાનો વિચાર બદલે છે, તેને પાછું ખેંચે છે, તેને બ્રાન્ચ B પર મોકલે છે, અને પછી કોઈ કારણ વગર તેને જનરલ-પર્પઝ ફોલબેક નોડ (general-purpose fallback node) દ્વારા રૂટ કરે છે. દરેક લૂપ નેટવર્ક હોપ (network hop) ઉમેરે છે અને અંતિમ ડીબગ લોગમાં મૂંઝવણનું બીજું સ્તર ઉમેરે છે.
અંતે, વારંવારનું વિશ્લેષણ છે. એજન્ટ તેને નક્કી થયેલ ગણવાને બદલે દરેક પગલે તે જ નિષ્કર્ષ ફરીથી મેળવવાનો પ્રયાસ કરે છે. તે એવા સુથાર જેવો છે જે દરેક કાપ પહેલાં બોર્ડને દસ વાર માપે છે. પહેલું માપન બરાબર હતું. બાકીના નવ માપન બિનજરૂરી છે.
આ વધારાના પગલાંના વાસ્તવિક પરિણામો હોય છે. લેટન્સી (Latency) વધતી જાય છે. સિંક્રનસ ચેટ ઇન્ટરફેસમાં, વધારાના ત્રણ સેકન્ડ આખી જિંદગી જેવા લાગે છે. મોટા પાયે (at scale), તે સેકન્ડો કમ્પ્યુટિંગ ખર્ચમાં હજારો ડોલરમાં પરિવર્તિત થાય છે. નિષ્ફળતાનું જોખમ પણ વધે છે. દરેક બિનજરૂરી હોપ એ એક્સટર્નલ API ટાઈમ આઉટ થવા માટે, કોન્ટેક્સ્ટ વિન્ડો ઓવરફ્લો થવા માટે, અથવા રેસ કન્ડિશન (race condition) ઉભી થવા માટેની વધુ એક તક છે. અને જ્યારે કંઈક તૂટે છે, ત્યારે સ્પગેટી (spaghetti) જેવો દેખાતો ટ્રેસ ડીબગ કરવા માટે નસીબ પર આધાર રાખવો પડશે. તમે એ જાણવા માટે કલાકો વિતાવશો કે એજન્ટે સાતમો સ્ટેપ કેમ લીધો, માત્ર એ સમજવા માટે કે સાતમો સ્ટેપ ક્યારેય હોવો જ નહોતો જોઈએ.
કન્વર્જન્સ (Convergence) નો વાસ્તવિક અર્થ શું છે
જો ટ્રેજેક્ટરી એ માર્ગ હોય, તો કન્વર્જન્સ એ તેની કાર્યક્ષમતાનું માપ છે. કન્વર્જન્સ તમને જણાવે છે કે વપરાશકર્તાની વિનંતી અને સાચા ઉકેલ વચ્ચે એજન્ટ કેટલા નજીકથી ટૂંકા અને વ્યવહારુ માર્ગ પર ચાલે છે.
આ સચોટતા (accuracy) જેવું નથી. સચોટતા એ એક સીધું સાધન છે. તે પૂછે છે કે અંતિમ સ્થિતિ સાચી છે કે નહીં. કન્વર્જન્સ પૂછે છે કે શું મુસાફરી તર્કસંગત હતી. ઉચ્ચ સચોટતા અને ઓછી કન્વર્જન્સ ધરાવતો એજન્ટ સફળતાના વેશમાં છુપાયેલું એક જોખમ છે. ઉચ્ચ કન્વર્જન્સ અને મધ્યમ સચોટતા ધરાવતો એજન્ટ સામાન્ય રીતે સુધારવામાં સરળ હોય છે, કારણ કે તેનું તર્ક સ્પષ્ટ હોય છે અને તેની ભૂલો મર્યાદિત હોય છે.
તમે એજન્ટ ખરેખર લેતા પગલાંની સરખામણી તે ટાસ્ક ક્લાસ માટે તમે વ્યાખ્યાયિત કરેલા ટૂંકા માર્ગ સાથે કરીને અંદાજિત કન્વર્જન્સ સ્કોરની ગણતરી કરી શકો છો. જો એક પ્રમાણભૂત રિફંડ ક્વેરી માટે બરાબર ત્રણ ટૂલ કોલની જરૂર હોય અને એજન્ટે નવનો ઉપયોગ કર્યો હોય, તો તમારો કન્વર્જન્સ રેશિયો ઘટી રહ્યો છે. તમે વિવિધ પ્રકારના બગાડને વજન આપીને (weighting) આને વધુ સચોટ બનાવી શકો છો. ટૂલની લેટન્સી અને કિંમત પર આધાર રાખીને, એક ખોટો ટૂલ કોલ એક બિનજરૂરી કોલ કરતા વધુ ખર્ચાળ હોઈ શકે છે. એક રાઉટર લૂપ જે કોઈ મૂલ્ય ઉમેરતું નથી તે સૌથી મોટો દંડ (penalty) લાવી શકે છે, કારણ કે તે આર્કિટેક્ચરલ