AI એજન્ટ્સનો વ્યવહારમાં ઉપયોગ: ટ્રેસ (Trace) માંથી નિષ્ફળતાઓ વાંચવી
તમારો AI એજન્ટ ક્રેશ થતો નથી. તે સફળતાનો રિપોર્ટ આપે છે. પરંતુ તમારું બેંક ખાતું ભૂલ દર્શાવે છે.
એવા ઓર્ડર માટે રિફંડ મોકલવામાં આવ્યું જે ક્યારેય રદ કરવામાં આવ્યો નહોતો. ગ્રાહક પાસે વસ્તુ અને પૈસા બંને છે. એજન્ટને લાગ્યું કે તેણે તેનું કામ કરી દીધું છે.
કોઈ મોટા મોડલનો ઉપયોગ કરવાનો પ્રયાસ ન કરો. ફક્ત રીટ્રાય લૂપ (retry loop) ઉમેરી ન દો. આ બંને માત્ર અનુમાન છે.
તેના બદલે, ટ્રેસ (trace) વાંચો. એજન્ટે તેણે શું કર્યું તે પહેલેથી જ લખી રાખ્યું છે.
એક સારો પ્રોડક્શન ટ્રેસ લૂપને સ્ટેપ બાય સ્ટેપ રેકોર્ડ કરે છે. તેમાં આ બધું દેખાવું જોઈએ:
- એજન્ટે શું અવલોકન કર્યું
- તેણે શું નિર્ણય લીધો
- તેણે કયા ટૂલનો ઉપયોગ કર્યો
- ટૂલે શું રિટર્ન કર્યું
- સોર્સ ઓફ ટ્રુથ (source of truth) માંથી વાંચેલું વેરિફિકેશન
- અંતિમ સ્થિતિ અને ખર્ચ
સૌથી મહત્વનો ભાગ ટૂલના પ્રતિસાદ (response) અને વેરિફિકેશન રીડ વચ્ચેનો તફાવત છે. કોઈ ટૂલ "accepted" કહી શકે છે, પરંતુ તેનો અર્થ એ નથી કે દુનિયા બદલાઈ ગઈ છે. વેરિફિકેશન રીડ તમને જણાવશે કે ફેરફાર ખરેખર થયો છે કે નહીં.
નિષ્ફળતાઓ સામાન્ય રીતે બે જૂથોમાં વહેંચાયેલી હોય છે:
- એક્ઝિક્યુશન નિષ્ફળતાઓ (Execution Failures)
- ટૂલ નિષ્ફળતાઓ: ખોટા આર્ગ્યુમેન્ટ્સ અથવા ટાઈમઆઉટ.
- રીઝનિંગ નિષ્ફળતાઓ: મોડલે ખોટી ક્રિયા પસંદ કરી.
- કંટ્રોલ-સ્ટેટ નિષ્ફળતાઓ: એજન્ટ જૂઠાણું માની લે છે. જો ટૂલે કહ્યું હોય તો એજન્ટ માની લે છે કે ઓર્ડર રદ થયો છે, ભલે ડેટાબેઝ કંઈક બીજું જ કહેતો હોય.
- સ્ટ્રક્ચરલ લૂપ નિષ્ફળતાઓ (Structural Loop Failures)
- કોન્ટેક્સ્ટ ડિગ્રેડેશન (Context degradation): એજન્ટ મુખ્ય પ્રવાહ ગુમાવી દે છે.
- લૂપ રનઅવે (Loop runaway): એજન્ટ કોઈ પ્રગતિ વગર સ્ટેપ્સનું પુનરાવર્તન કરે છે.
- સાયલન્ટ સ્ટૉલ્સ (Silent stalls): એજન્ટ કોઈ ભૂલ વગર અટકી જાય છે. તમારે સાયલન્સને નિષ્ફળતા તરીકે ગણવા માટે વોચડોગ (watchdog) ની જરૂર પડશે.
જ્યારે તમને નિષ્ફળતા મળે, ત્યારે ફક્ત રીટ્રાય ન કરો. રીટ્રાય એ એક વ્યૂહરચના છે, નિદાન (diagnosis) નથી.
- જો તે ટાઈમઆઉટ જેવી ક્ષણિક ભૂલ હોય, તો રીટ્રાય કરો.
- જો તે લોજિકલ ભૂલ હોય, તો રીટ્રાય કરવાથી તમે તે જ મુશ્કેલીમાં પડવા માટે તમારું બજેટ વેડફશો.
- જો એજન્ટ કોઈ અવરોધ (blocker) નો સામનો કરે, તો અટકી જાઓ અને માણસને જાણ કરો.
નિષ્ફળતા સુધારવાનો શ્રેષ્ઠ રસ્તો તેને ટેસ્ટમાં બદલવાનો છે.
ગ્રેડર (grader) લખવા માટે ટ્રેસનો ઉપયોગ કરો. જો એજન્ટ કેન્સલેશન વેરિફાય કરવામાં નિષ્ફળ જાય, તો એવો ટેસ્ટ લખો જે કન્ફર્મ થયેલ કેન્સલ સ્ટેટસ વગર રિફંડ થાય તો ફેલ થાય. તમે જે નિષ્ફળતાઓ માટે ચૂકવણી કરી છે તેને એવી નિષ્ફળતાઓમાં ફેરવો જેના માટે તમારે ક્યારેય બીજી વાર ચૂકવણી ન કરવી પડે.
Optional learning community: https://t.me/GyaanSetuAi