જ્યારે તમે AI એજન્ટ્સને તેમના ટૂલ્સ ફરીથી ચલાવવા માટે સ્પષ્ટ પરવાનગી આપો છો, ત્યારે તેઓ નોંધપાત્ર રીતે સુધરી શકે છે – લેખકે શોધી કાઢ્યું છે કે શબ્દોમાં એક નાનો ફેરફાર કરવાથી રિપેર સફળતાનો દર 0.16 થી વધીને 1.00 થઈ ગયો. આ પરિણામ, જેને “action-licensing” કહેવામાં આવે છે, તે દર્શાવે છે કે એજન્ટને તેના કામની તપાસ કરવા માટે પ્રોત્સાહિત કરવું એ માત્ર લક્ષ્યને ફરીથી જણાવવા કરતાં વધુ અસરકારક હોઈ શકે છે.
આ સુધારો શા માટે મહત્વપૂર્ણ છે
જે AI આસિસ્ટન્ટ્સ બાહ્ય ટૂલ્સ (ડેટાબેઝ, કેલ્ક્યુલેટર્સ, APIs) નો ઉપયોગ કરી શકે છે તેનો ઉપયોગ બિઝનેસ વર્કફ્લો માટે સતત વધી રહ્યો છે. જ્યારે તે એજન્ટો ભૂલ કરે છે, ત્યારે તે ભૂલ ઘણીવાર શાંતિથી ફેલાઈ જાય છે, જે કોઈ સ્પષ્ટ નિષ્ફળતાના સંકેતો આપ્યા વિના ખોટા જવાબો આપે છે. આખા પ્રોમ્પ્ટને ફરીથી લખ્યા વિના હસ્તક્ષેપ કરવાની એક વિશ્વસનીય રીત ડેવલપર્સનો સમય બચાવી શકે છે અને પ્રોડક્શન સિસ્ટમ્સમાં ખર્ચાળ ભૂલોને અટકાવી શકે છે.
નિષ્ફળતાઓ કેવી રીતે દેખાય છે
લેખકે બે સામાન્ય, ઓછી દૃશ્યતા ધરાવતા નિષ્ફળતાના પેટર્ન જોયા છે:
Skipped Lookup (લુકઅપ છોડી દેવું) – એજન્ટ જાણે છે કે તેણે માહિતી મેળવવી જોઈએ (દા.ત. ID માંથી મેનેજરનું નામ), પરંતુ લુકઅપ ટૂલનો ઉપયોગ કરવાને બદલે તે ફક્ત એક જવાબ બનાવી દે છે. ઉપરછલ્લો પ્રતિસાદ યોગ્ય લાગે છે, છતાં વાસ્તવિક આધાર ખૂટે છે.
Validated Nonsense (માન્ય કરેલી વિસંગતતા) – એજન્ટ કોઈ ટૂલમાં ખોટો અથવા અયોગ્ય ડેટા મોકલે છે. ટૂલ કોઈ ભૂલ દર્શાવ્યા વિના પરિણામ આપે છે, અને એજન્ટ તે પરિણામને પુષ્ટિ તરીકે લે છે, જે અસરકારક રીતે પોતાની જ ભૂલને સમર્થન આપે છે.
બંને પેટર્ન વપરાશકર્તાને આત્મવિશ્વાસપૂર્ણ છતાં ખોટો જવાબ આપે છે, અને તેઓ લૂપ અથવા પ્રતિસાદના અભાવના સામાન્ય સંકેતો આપતા નથી જે ડેવલપર્સ દ્વારા જોવામાં આવે છે.
પ્રયોગ
વિવિધ પ્રોમ્પ્ટ્સ રિપેર (સુધારા) ને કેવી રીતે અસર કરે છે તે માપવા માટે, લેખકે સખત ગ્રાઉન્ડ-ટ્રુથ જવાબો સાથે એક નિયંત્રિત પરીક્ષણ સેટ કર્યું (કોઈ LLM-આધારિત ગ્રેડિંગ નહીં). બે પ્રોત્સાહનોની તુલના કરવામાં આવી હતી:
Goal-only nudge (માત્ર લક્ષ્યનો પ્રોત્સાહિત) – “જવાબ મેનેજરનું નામ હોવું જોઈએ.” રિકવરી રેટ: 0.16.
Action-licensing nudge (એક્શન-લાઇસન્સિંગ પ્રોત્સાહિત) – “જવાબ મેનેજરનું નામ હોવું જોઈએ. ચકાસવા માટે ટૂલ્સનો ઉપયોગ કરો.” રિકવરી રેટ: 1.00 (તમામ નિષ્ફળ રન સુધારી લેવામાં આવ્યા હતા).
એકમાત્ર તફાવત ટૂલને ફરીથી એક્ઝિક્યુટ કરવાની સ્પષ્ટ પરવાનગી હતી. બીજા પ્રોમ્પ્ટે એજન્ટને જાણ કરી કે તે પાછો જઈ શકે છે, ખૂટતી માહિતી મેળવી શકે છે અને તેના અગાઉના અનુમાનને બદલી શકે છે. તે પરવાનગીએ મોટાભાગે બિનઅસરકારક પ્રોત્સાહનને પરીક્ષિત કિસ્સાઓ માટે ખાતરીપૂર્વકનો સુધારો બનાવી દીધો.
આ આંકડાઓ શું સૂચવે છે
0.16 થી 1.00 સુધીનો ઉછાળો સૂચવે છે કે સુધારામાં અવરોધ એજન્ટની લક્ષ્યની સમજણ નહોતી પરંતુ તેની કાર્ય કરવાની અનુભવાયેલી સ્વતંત્રતા હતી. જ્યારે પ્રોમ્પ્ટ મોડેલને કહે છે કે “તમે ફરીથી પ્રયાસ કરી શકો છો,” ત્યારે તે પરિસ્થિતિને ડેડ-એન્ડ (અંત) ને બદલે એક નવા સબ-ટાસ્કની જેમ જુએ છે, જેનાથી ટૂલ-કોલ ચેઇન ફરીથી શરૂ થઈ શકે છે.
માત્ર પ્રોમ્પ્ટ-આધારિત સુધારાઓની મર્યાદાઓ
પ્રયોગે એવા સંજોગો પર પણ પ્રકાશ પાડ્યો છે જ્યાં માત્ર પ્રોમ્પ્ટિંગ જ એજન્ટને બચાવી શકતું નથી:
જો કોઈ ડાઉનસ્ટ્રીમ ટૂલ શાંતિથી ખરાબ ઇનપુટ સ્વીકારે છે અને મૂલ્ય પરત કરે છે, તો એજન્ટ પાસે એવો કોઈ સંકેત નથી કે તેનો ડેટા ખોટો હતો. પ્રોમ્પ્ટને ગમે તે રીતે ફરીથી લખવાથી તે ખામી શોધી શકશે નહીં; ટૂલે પોતે ઇનપુટ વેલિડેશન લાગુ કરવું જોઈએ અથવા ભૂલ દર્શાવવી જોઈએ.
જે એજન્ટ્સ ટૂલ્સનો ઉપયોગ કરવામાં જ સંઘર્ષ કરે છે તેઓ ક્યારેય “use tools” સૂચનાનો લાભ લઈ શકશે નહીં, કારણ કે મૂળભૂત ક્ષમતા જ ખૂટે છે. આવા મોડેલ્સ પર રિપેર ટેસ્ટિંગ કરવાથી પ્રોમ્પ્ટનું મૂલ્યાંકન અને મોડેલની મૂળભૂત ટૂલ-કોલિંગ ક્ષમતા વચ્ચે ગૂંચવણ ઊભી થાય છે.
ડેવલપર્સ માટે વ્યવહારુ ઉપાયો
પરવાનગી આપો – જ્યારે તમે હસ્તક્ષેપ કરો છો, ત્યારે એજન્ટને સ્પષ્ટપણે કહો કે તે ટૂલ કોલ ફરીથી કરી શકે છે અથવા ફરીથી ગણતરી કરી શકે છે. માત્ર ઇચ્છિત પરિણામને ફરીથી જણાવવાથી એજન્ટ ઘણીવાર તેના મૂળભૂત, ભૂલભરેલા માર્ગ પર અટકી જાય છે.
ટૂલ્સનું રક્ષણ કરો – એજન્ટ જે ટૂલ્સનો ઉપયોગ કરે છે તેમાં ઇનપુટ ચેક્સ અને સ્પષ્ટ ભૂલ સંદેશાઓ (error messages) ઉમેરો. આ “validated nonsense” ને આગળ વધતા અટકાવે છે.
વહેલી તકે શોધો – ભૂલ જેટલી વહેલી પકડાય, રિ-એક્ઝિક્યુશન પ્રોમ્પ્ટ સફળ થવાની શક્યતા તેટલી જ વધુ હોય છે. અપેક્ષિત અને વાસ્તવિક ટૂલ વપરાશ વચ્ચેના તફાવતો પર દેખરેખ રાખવાથી યોગ્ય સમયે રિપેર પ્રોમ્પ્ટ ટ્રિગર કરી શકાય છે.
મોડેલની ક્ષમતાઓ તપાસો – પ્રોમ્પ્ટ-આધારિત રિપેર પર આધાર રાખતા પહેલા, ખાતરી કરો કે મોડેલ સૌ પ્રથમ વિશ્વસનીય રીતે ટૂલ્સને કોલ કરી શકે છે. અન્યથા તમે નબળા પાયા પર પ્રોમ્પ્ટની અસરકારકતા માપી રહ્યા હોવ તેવું બની શકે છે.
સારાંશ: AI એજન્ટને તેનું કામ ફરીથી કરવા માટે સ્પષ્ટ પરવાનગી આપવાથી અડધા અધૂરા સુધારાને સંપૂર્ણ રિકવરીમાં બદલી શકાય છે. પ્રોમ્પ્ટ ડિઝાઇનર્સ માટે “use tools to verify” ને સેફ્ટી વાલ્વ તરીકે જોવું જોઈએ, નહીં કે વૈકલ્પિક સુશોભન તરીકે.