એજન્ટ લૂપને સમજવું
જો તમે tool-calling મોડલ્સ સાથે કામ કરો છો, તો તમારો સૌથી મહત્વપૂર્ણ નિર્ણય પ્રોમ્પ્ટ નથી. તે મોડલની આસપાસનો લૂપ (loop) છે.
એક LLM ટૂલનો ઉપયોગ કરવાનું નક્કી કરે છે, પરંતુ તે પોતે તે ટૂલ ચલાવી શકતું નથી. એપ્લિકેશન અથવા SDK એ સંદર્ભ (context) તૈયાર કરવો જોઈએ, ટૂલ ચલાવવું જોઈએ અને પરિણામો ઉમેરવા જોઈએ. આ ચક્રને એજન્ટ લૂપ કહેવામાં આવે છે.
મોડલ એ સિસ્ટમનો માત્ર એક ભાગ છે. Harness અથવા SDK ઓર્કેસ્ટ્રેશન (orchestration)નું સંચાલન કરે છે. આમાં પ્રોમ્પ્ટ એસેમ્બલી, ટૂલ એક્ઝિક્યુશન, રિટ્રાય્સ (retries) અને ટર્મિનેશનનો સમાવેશ થાય છે.
વિશ્વસનીય એજન્ટ્સ બનાવવા માટેના મુખ્ય ખ્યાલો:
- સ્ટેટ મેનેજમેન્ટ (State management) અત્યંત મહત્વપૂર્ણ છે. જો તમે ટૂલના આઉટપુટ ગુમાવી દો છો, તો એજન્ટ શું થયું હતું તે ભૂલી જાય છે.
- પર્ફોર્મન્સ પ્રોમ્પ્ટ ગ્રોથ કંટ્રોલ પર આધારિત છે. ખર્ચ ઓછો રાખવા માટે સ્ટેબલ પ્રીફિક્સ અને કેશિંગ (caching) નો ઉપયોગ કરો.
- સુરક્ષા માટે વેલિડેશન જરૂરી છે. ડેટા બદલતા હોય તેવા કાર્યો માટે એપ્રુવલ ગેટ્સ (approval gates) નો ઉપયોગ કરો.
- મોડલ નહીં, પણ harness લાઈફસાયકલનું સંચાલન કરે છે.
લૂપ માટે એક વ્યવહારુ માનસિક મોડેલ (mental model):
- ઇનપુટ સ્ટેટ બનાવો.
- મોડલને કોલ કરો.
- પ્રતિસાદ (response) તપાસો.
- જો મોડલ ટૂલ્સની વિનંતી કરે, તો તેને વેલિડેટ કરો અને એક્ઝિક્યુટ કરો.
- ટૂલના પરિણામોને ફરીથી સંદર્ભ (context) માં ઉમેરો.
- ફરીથી મોડલને કોલ કરો.
- જ્યારે મોડલ અંતિમ જવાબ આપે ત્યારે જ અટકો.
બે સિસ્ટમ્સ એક જ મોડલનો ઉપયોગ કરી શકે છે પરંતુ અલગ રીતે વર્તી શકે છે. આવું એટલા માટે થાય છે કારણ કે તેમના harness સંદર્ભ, ટૂલ ઓર્ડરિંગ અને હિસ્ટ્રી વિશે અલગ-અલગ નિર્ણયો લે છે.
આ સામાન્ય સમસ્યાઓથી સાવધ રહો:
- પુનરાવર્તિત વર્તન: સામાન્ય રીતે સ્ટેટ કન્ટિન્યુટી (state continuity) તૂટવાને કારણે થાય છે.
- ઓછી ગુણવત્તા: ઘણીવાર ટૂલના આઉટપુટ ખૂબ લાંબા અથવા અસ્પષ્ટ (noisy) હોવાને કારણે થાય છે.
- ઊંચો ખર્ચ: સામાન્ય રીતે ખરાબ પ્રોમ્પ્ટ ઓર્ડરિંગને કારણે થાય છે જે કેશિંગને તોડે છે.
- અસુરક્ષિત કાર્યો: જ્યારે તમે ટૂલ ચલાવતા પહેલા તેના આર્ગ્યુમેન્ટ્સને વેલિડેટ નથી કરતા ત્યારે થાય છે.
મોડલ કાર્યો પસંદ કરે છે. Harness વાસ્તવિકતાને નિયંત્રિત કરે છે. જો તમે વધુ સારી સિસ્ટમ ઈચ્છતા હોવ, તો માત્ર પ્રોમ્પ્ટમાં ફેરફાર ન કરો. એક વધુ સારો લૂપ બનાવો.
વૈકલ્પિક લર્નિંગ કમ્યુનિટી: https://t.me/GyaanSetuAi