જ્યારે તમારો એજન્ટ ખોટું વર્તન કરે છે, ત્યારે શું તમે જાણો છો કે કોણે કર્યું?
એક એજન્ટ એવો રેકોર્ડ ડિલીટ કરી દે છે જેને તેણે અડવું ન જોઈએ. તે ખોટા ટેનન્ટ (tenant) ને મેસેજ મોકલે છે. તે લૂપમાં API કોલ કરે છે અને તમારું બિલ વધારી દે છે.
કોઈ ઘટના બન્યાના દસ મિનિટ પછી, તમે એક જ પ્રશ્ન પૂછો છો: આ કયા એજન્ટે કર્યું?
જો તમે જાણતા નથી, તો તમે તેને સુધારી શકતા નથી. તમે બિલ્ડ (build) રોકી શકતા નથી. તમે ભૂલનું ઓડિટ કરી શકતા નથી. તમે ભૂલમાંથી શીખી શકતા નથી.
આ ઓળખ (identity) ની સમસ્યા છે.
મોટાભાગની ટીમો ત્રણ એવા પેટર્નનો સામનો કરે છે જે એજન્ટની ક્રિયાઓને છુપાવે છે:
- શેર કરેલા સર્વિસ એકાઉન્ટ્સ: દસ એજન્ટ્સ એક જ ક્રેડેન્શિયલ્સનો ઉપયોગ કરે છે. તમારા લોગ્સમાં દરેક ક્રિયા સમાન દેખાય છે.
- માનવીય ક્રેડેન્શિયલ્સ: એજન્ટ તમારા લોગિનનો ઉપયોગ કરે છે. લોગ્સમાં તમારું નામ દેખાય છે, એજન્ટનું નામ નહીં. આ એક મોટું સુરક્ષા જોખમ ઊભું કરે છે.
- સાયલન્ટ ડ્રિફ્ટ (Silent drift): બે અલગ-અલગ બિલ્ડ્સ એક જ નામનો ઉપયોગ કરે છે. એક નવું મોડેલ અથવા નવો પ્રોમ્પ્ટ વાપરે છે, પરંતુ લોગ્સ સમાન ઓળખ બતાવે છે.
આને સુધારવા માટે, આ પગલાં અનુસરો:
દરેક એજન્ટને તેની પોતાની ઓળખ આપો. માનવીય ક્રેડેન્શિયલ્સનો ઉપયોગ કરશો નહીં. શેર કરેલા એકાઉન્ટ્સનો ઉપયોગ કરશો નહીં. એજન્ટે પોતાની રીતે પ્રમાણિત (authenticate) થવું જોઈએ.
દરેક ક્રિયા પર છ ચોક્કસ ફિલ્ડ્સ લગાવો:
- Accountable party: આ એજન્ટ માટે કોણ જવાબદાર છે?
- Operational owner: તેની દરરોજ જાળવણી કોણ કરે છે?
- Tenant: આ કયા ગ્રાહક માટે છે?
- Agent-type-id: આ કયું ચોક્કસ બિલ્ડ છે?
- Agent-instance-id: આ કયું ચોક્કસ રન (run) છે?
- Trace context: કોલ ચેઇનમાં આ ક્યાં છે?
વર્ઝનિંગ માટે હેશેસ (hashes) નો ઉપયોગ કરો. તમારા એજન્ટનું નામ "support-agent-v2" ન રાખો. જો તમે સિસ્ટમ પ્રોમ્પ્ટ બદલો છો, તો નામ સમાન રહે છે, પરંતુ વર્તન બદલાઈ જાય છે. તેના બદલે, કન્ટેન્ટ હેશ (content hash) નો ઉપયોગ કરો. કન્ટેનર ઈમેજ, પ્રોમ્પ્ટ, મોડેલ અને કોન્ફિગ્યુરેશનના આધારે હેશ બનાવો. જો તમે કોડની એક લાઇન પણ બદલો છો, તો ID બદલાઈ જશે. આનાથી સાયલન્ટ ડ્રિફ્ટ દેખાઈ આવશે.
લિનેજ (lineage) રેકોર્ડ કરો. એજન્ટ્સ સબ-એજન્ટ્સ (sub-agents) બનાવે છે. તમારે રેકોર્ડ કરવું જોઈએ કે કયા પેરેન્ટ એજન્ટે સબ-એજન્ટ શરૂ કર્યો હતો. તમારે એ પ્રોમ્પ્ટ પણ રેકોર્ડ કરવો જોઈએ જે પેરેન્ટ એજન્ટે સબ-એજન્ટને આપ્યો હતો. ઇન્જેક્ટેડ ઇન્સ્ટ્રક્શન અથવા પોઇઝન્ડ ડેટા શોધવાનો આ એકમાત્ર રસ્તો છે.
ઓળખ એ તમારી રિકવરી સપાટી (recovery surface) છે. તે તમને 'કિલ સ્વિચ' (kill switch) વાપરવા અને ઓડિટ ટ્રેલ બનાવવા દે છે. કોઈ ઘટના બનતા પહેલા તમારે આ સેટઅપ કરવું જ જોઈએ. કટોકટી દરમિયાન ઓળખ ઉમેરવી એ ખૂબ મોડું થઈ ગયું કહેવાય.
અત્યારે જ તમારા લોગ્સ તપાસો. એક કલાક પહેલાની કોઈ ક્રિયા જુઓ. શું તમે તે ક્રિયા કરનાર ચોક્કસ બિલ્ડનું નામ આપી શકો છો? જો તમે ન આપી શકતા હોવ, તો તમારે આ ખામી દૂર કરવાની જરૂર છે.
સ્ત્રોત: https://dev.to/brennhill/when-your-agent-does-something-bad-can-you-tell-which-agent-did-it-37a2
વૈકલ્પિક લર્નિંગ કોમ્યુનિટી: https://t.me/GyaanSetuAi