એક ક્વોરમ કોસ્ચ્યુમ: એજન્ટ વેરિફિકેશન માટે ફોલ્ટ ઇન્જેક્શન શા માટે જરૂરી છે
તમારો AI એજન્ટ તેની પોતાની સચોટતા વિશે તમને જૂઠું બોલી રહ્યો હોઈ શકે છે.
મેં તાજેતરમાં એક AI પાર્ટનરને સતત ત્રણ વાર નિષ્ફળ જતું જોયું. તેણે વિવિધ સપાટીઓ (surfaces) પર એક જ સત્યની સમસ્યાને ચૂકી ગઈ. તેણે ખોટા અવાજમાં (wrong voice) લખ્યું. એક રિવ્યુઅર મોડેલે જ્યારે પણ તે જ ભૂલ વાંચી ત્યારે તેને ઊંચું રેટિંગ આપ્યું. તેણે ફેક્ટ ડ્રિફ્ટ (fact drift) વિશેના તથ્યોની ગણતરીમાં પણ ભૂલ કરી.
મેં આ ભૂલો માત્ર એટલા માટે પકડી શક્યો કારણ કે હું લૂપની બહાર હતો.
આ એજન્ટ સ્ટેકમાં (agent stack) એક મોટી સમસ્યા દર્શાવે છે. મોટાભાગની વેરિફિકેશન સિસ્ટમ્સ સ્વતંત્રતા (independence) માની લે છે. તેઓ મલ્ટી-એજન્ટ વોટિંગ, મેકર/ચેકર પેટર્ન અથવા એન્સેમ્બલ પ્રોમ્પ્ટ્સનો ઉપયોગ કરે છે. તેઓ માની લે છે કે અલગ-અલગ માર્ગો અલગ-અલગ વસ્તુઓ જોશે.
પરંતુ ઘણીવાર, આ માર્ગો એક જ સ્ત્રોત (source) શેર કરે છે.
જ્યારે રિવ્યુઅર લેખક (writer) જેવો જ સ્ત્રોત વાંચે છે, ત્યારે તમારી પાસે બે અલગ દૃષ્ટિકોણ હોતા નથી. તમારી પાસે બે અલગ ટોપીઓ પહેરેલો એક જ દૃષ્ટિકોણ હોય છે. આ એક ક્વોરમ કોસ્ચ્યુમ પહેરેલો 'સિંગલ પોઈન્ટ ઓફ ફેઈલ્યોર' (single point of failure) છે.
જો માર્ગો અપસ્ટ્રીમ (upstream) શેર કરે છે, તો તેઓ એક જ ખોટા તથ્ય અથવા એક જ હેલ્યુસિનેશન (hallucination) પર સહમત થશે. સિસ્ટમ સ્વસ્થ દેખાય છે કારણ કે આઉટપુટ્સ વિવિધતાસભર લાગે છે, પરંતુ જ્યારે સ્ત્રોત જૂઠું બોલે છે ત્યારે તે દર વખતે નિષ્ફળ જાય છે.
આને સુધારવા માટે, તમારે ફોલ્ટ ઇન્જેક્શન (fault injection) નો ઉપયોગ કરવો જોઈએ.
એજન્ટો અસંમત થાય છે કે નહીં તે જ માપો નહીં. સિસ્ટમના કોઈ ભાગને તોડીને તમે તેમને અસંમત થવા માટે મજબૂર કરી શકો છો કે નહીં તે માપો.
તમે તમારા સ્ટેકનું પરીક્ષણ કેવી રીતે કરી શકો છો તે અહીં છે:
- ખરાબ મેમરી ઇન્જેક્ટ કરો: એક રિટ્રાઇવલ પાથમાં ખોટો તથ્ય રોપો. જો બંને પાથ ખોટો તથ્ય રિટર્ન કરે છે, તો તમારા પાથ કપલ્ડ (coupled) છે.
- નિયમમાં ફેરફાર (Mutate) કરો: ઓફલાઇન કોઈ નિયમ બદલો. જો મેકર અને ચેકર બંને મિસમેચ દર્શાવ્યા વગર નવા નિયમનું પાલન કરે છે, તો તેઓ કેશ (cache) શેર કરી રહ્યા છે.
- ખોટી ટેલિમેટ્રી (telemetry) રોપો: નકલી મોડેલ ID લોગ કરો. જો ચેક પાસ થાય છે, તો વેરિફાયર લેખકની જેમ જ સમાન રેકોર્ડ વાંચી રહ્યો છે.
ડિસ્ટ્રિબ્યુટેડ સિસ્ટમ્સ (Distributed systems) એ આ સમસ્યા વર્ષો પહેલા ઉકેલી દીધી હતી. તેઓ કાઓસ એન્જિનિયરિંગ (chaos engineering) અને પાર્ટીશન ટેસ્ટનો ઉપયોગ કરે છે. તેઓ સિસ્ટમને સારી રીતે ચાલતી જોઈને તેના પર વિશ્વાસ નથી કરતા. તેઓ નિષ્ફળતા પેદા કરીને તેના પર વિશ્વાસ કરે છે.
એજન્ટ આર્કિટેક્ચર્સે આ શિસ્ત અપનાવવી જોઈએ.
સ્વતંત્રતા એ એવી વિશેષતા નથી જે તમે એકવાર સ્થાપિત કરો છો. તે એવી વિશેષતા છે જેને તમારે સતત ફરીથી વેરિફાય કરવી જોઈએ. શેર કરેલી કેશ અથવા મોડેલ અપડેટ રાતોરાત તમારી સ્વતંત્રતાને તોડી શકે છે.
સર્વસંમતિથી મળતા વોટ પર વિશ્વાસ કરવાનું બંધ કરો. ફોલ્ટ ઇન્જેક્ટ કરવાનું શરૂ કરો.
Source: https://dev.to/jugeni/a-quorum-costume-why-agent-verification-needs-fault-injection-kbh
Optional learning community: https://t.me/GyaanSetuAi