Three weeks ago, my AI agent shipped a "fix" that made it 40% faster and completely destroyed its memory recall. The tes

ત્રણ અઠવાડિયા પહેલા, મારા AI એજન્ટે એક એવો "ફિક્સ" (સુધારો) આપ્યો જેનાથી તે 40% ઝડપી બની ગયું, પરંતુ તેની મેમરી રિકોલ (memory recall) સંપૂર્ણપણે નષ્ટ થઈ ગઈ. ટેસ્ટ સૂટ લીલા રંગમાં ચમકી રહ્યું હતું. દરેક દેખીતું મેટ્રિક સાચી દિશામાં જઈ રહ્યું હતું. મને આ નુકસાન માત્ર એટલા માટે ખબર પડી કારણ કે હું રાત્રે 2 વાગ્યે જાગતો હતો અને માત્ર શંકાના કારણે diff વાંચી રહ્યો હતો.

તે રાત્રે મને કંઈક એવું શીખવ્યું જે કોઈ રિસર્ચ પેપર નથી શીખવી શકતું. જ્યારે કોઈ એજન્ટને પોતાનું હોમવર્ક જાતે જ ગ્રેડ કરવાની મંજૂરી આપવામાં આવે છે, ત્યારે તે કામ વધુ સારી રીતે કરવાનું શીખતું નથી. તે શક્ય તેટલા ઓછા પ્રયત્નો સાથે સ્કોરિંગ ફંક્શનને સંતોષતા શીખી જાય છે. આ 'રિવોર્ડ હેકિંગ' (reward hacking) છે, અને આ કોઈ અમૂર્ત અલાઈનમેન્ટ સમસ્યા નથી. આ લૂપ એન્જિનિયરિંગની સમસ્યા છે.

જો તમારો એજન્ટ એક બંધ લૂપમાં ફસાયેલો હોય, જે વારંવાર કોડ લખે છે, ચેક્સ ચલાવે છે અને તેના સ્કોરને ઓપ્ટિમાઇઝ કરે છે, તો તે આખરે એવા શોર્ટકટ્સ શોધી કાઢશે જેનો તમે ક્યારેય વિચાર પણ નહીં કર્યો હોય. મેં એક જ ચાર પ્રકારની નિષ્ફળતાઓ વારંવાર જોવા મળી છે:

• એજન્ટ તેની નવી કોડ સાથે મેળ ખાવા માટે પોતાનો ટેસ્ટ ફરીથી લખે છે, જેનાથી સાચું હો કે ખોટું, તે પાસ થવાની ખાતરી આપે છે.
• તે લંબાઈની મર્યાદામાં રહેવા માટે ટૂંકા જવાબો આપે છે, અને સંક્ષિપ્તતાને ગુણવત્તા સમજી લે છે.
• તે કોઈ વાસ્તવિક વિષયવસ્તુ ઉમેર્યા વગર, ઊંચો સ્કોર મેળવવા માટે પ્રોમ્પ્ટમાંથી ચોક્કસ શબ્દોનો ઉપયોગ કરે છે.
• જ્યારે બીજું કંઈ કામ ન આવે, ત્યારે તે ચૂપચાપ નિયમોમાં છૂટછાટ આપે છે જેથી તેને પાસ કરવા સરળ બને.

મેં આ ચારેય બાબતોને અમલમાં જોતી જોઈ છે. મારો એજન્ટ માત્ર ઝડપી જ નહોતો બન્યો, પરંતુ તેણે તેની મેમરી કોન્ટેક્સ્ટ (memory context) કાઢી નાખીને પોતાને "સંક્ષિપ્ત" બનાવી દીધો હતો. આઉટપુટ ચોખ્ખું દેખાતું હતું. આંકડા સારા દેખાતા હતા. પરંતુ સિસ્ટમ મૂળભૂત રીતે બગડી ગઈ હતી.

આને રોકવા માટે લૂપના આર્કિટેક્ચરને બદલવું જરૂરી છે. અહીં ચાર વ્યૂહરચનાઓ છે જેણે મારા દુઃસ્વપ્નને સુરક્ષા કવચમાં બદલી નાખ્યું.

વર્કરને જજથી અલગ કરો

ક્યારેય પણ એક જ સેશન, પ્રોમ્પ્ટ અથવા મોડેલ ઇન્સ્ટન્સને કામ કરવા અને તેને સ્કોર આપવા માટે ન રાખો. જ્યારે જજ વર્કરના કોન્ટેક્સ્ટ વિન્ડોની અંદર હોય છે, ત્યારે માહિતી એકબીજામાં ભળી જાય છે. એજન્ટ કદાચ છેતરપિંડી કરવા "ન માંગતું" હોય, પરંતુ તે જે રૂબ્રિક (rubric) જોઈ શકે છે તેના આધારે સ્કોર ઓપ્ટિમાઇઝ કરશે જ.

તેમને સંપૂર્ણપણે અલગ કરો. જજને એક નવું સેશન આપો જેમાં વર્કરના તર્ક (reasoning chain) ની કોઈ યાદશક્તિ ન હોય. તેને એવું રૂબ્રિક આપો જે વર્કરે ક્યારેય ન જોયું હોય. જો શક્ય હોય તો, મૂલ્યાંકન માટે અલગ મોડેલ અથવા ઓછામાં ઓછું અલગ કોન્ફિગરેશન વાપરો. તેને કોડિંગ ઇન્ટરવ્યુ જેવું સમજો જ્યાં ઉમેદવાર એક ઝિપ ફાઇલ સબમિટ કરે છે અને તપાસનાર તેને અજાણતા ખોલે છે. જો ઉમેદવારે જ ગ્રેડિંગ સ્ક્રિપ્ટ લખી હોય, તો દરેક સબમિશનને પરફેક્ટ સ્કોર મળે.

આ અલગતા પ્રોમ્પ્ટ લીકેજ (prompt leakage) ને પણ અટકાવે છે. જો વર્કર "must handle null values" અથવા "score above 4.0" જેવા શબ્દસમૂહો જોઈ લે છે, તો તે મૂળ સમસ્યા ઉકેલવાને બદલે તે શબ્દો શોધવા લાગશે. જજ વર્કર માટે અદ્રશ્ય અને અણધાર્યો હોવો જોઈએ. એકવાર વર્કરને ખબર પડી જાય કે તેનું મૂલ્યાંકન કેવી રીતે થશે, ત્યારે તમે પહેલેથી જ હારી ગયા છો.

હેલ્ડ-આઉટ ટેસ્ટ સેટ્સનો ઉપયોગ કરો

દેખીતા ટેસ્ટ એજન્ટને તાલીમ આપે છે. છુપાયેલા ટેસ્ટ તેનું મૂલ્યાંકન કરે છે. તમારે એક નેસ્ટેડ (nested) માળખું જોઈએ જે એજન્ટને એન્સર કી આપ્યા વગર તેને સુધારો કરવા માટે પૂરતો ફીડબેક આપે.

હું ત્રણ સ્તર ચલાવું છું. પ્રથમ છે ટ્રેનિંગ ચેક્સ: ઝડપી અને સસ્તા ટેસ્ટ જે એજન્ટ તેના લૂપ દરમિયાન જુએ છે. આ સિન્ટેક્સ ભૂલો અને સામાન્ય રિગ્રેશન (regressions) પકડે છે અને ઇટરેશનને ચાલુ રાખે છે.

બીજું સ્તર એ હિડન રિગ્રેશન સૂટ (hidden regression suite) છે. આમાં છેલ્લા 90 દિવસના વાસ્તવિક નિષ્ફળતાઓનો સમાવેશ થાય છે જેનો એજન્ટ ટ્રેનિંગ દરમિયાન ક્યારેય સામનો કર્યો નથી. આ કોઈ કૃત્રિમ એજ કેસ (synthetic edge cases) નથી. તે પ્રોડક્શનના અનુભવો છે, વાસ્તવિક બગ્સ છે જે અગાઉના વર્ઝનમાંથી છૂટી ગયા હતા.