SEED પેપરના લેખકોએ એક એવી પદ્ધતિ રજૂ કરી છે જે reinforcement-learning (RL) એજન્ટ્સને તેમના પોતાના નિષ્ફળતાના લોગ્સ (failure logs) ને તાજા તાલીમ ડેટા (training data) માં રૂપાંતરિત કરવાની મંજૂરી આપે છે. તે ALFWorld benchmark પર સરેરાશ સ્કોરને 91.8 સુધી લઈ જાય છે અને તાલીમ ડેટાના જથ્થામાં અંદાજે 40% નો ઘટાડો કરે છે. આ જ ટેકનિક એજન્ટ્સ દ્વારા ક્યારેય ન જોયેલા કાર્યો (tasks) પર 15.3 પોઈન્ટનો વધારો કરે છે, જે સાબિત કરે છે કે મોડેલ વધારાના માનવ-લખિત સુપરવિઝન વગર પોતાની ભૂલોમાંથી શીખી શકે છે.
RL એજન્ટ્સને માત્ર pass/fail ફ્લેગ કરતાં વધુ શા માટે જરૂર છે
સામાન્ય RL સેટઅપમાં એજન્ટને માત્ર લાંબા એપિસોડના અંતે જ રિવોર્ડ (reward) આપવામાં આવે છે. આ સિગ્નલ સિસ્ટમને જણાવે છે કે પરિણામ ખોટું હતું, પરંતુ ભૂલ ક્યાં થઈ તે વિશે કંઈ જ કહેતું નથી. જો ભૂલ દસ સ્ટેપ પહેલાં થઈ હોય—કદાચ ખોટો સર્ચ ટર્મ આપવામાં આવ્યો હોય અથવા ખોટી ફાઇલ ખોલવામાં આવી હોય—તો અંતિમ બાઈનરી સિગ્નલ બધી મધ્યવર્તી માહિતીને નકારી દે છે. આ નુકસાનને કારણે સંશોધકોએ નિષ્ફળતા તરફ દોરી જતી દુર્લભ પેટર્નને શોધવા માટે માત્ર વિશાળ સંખ્યામાં એપિસોડ્સ એકત્રિત કરવા પડે છે.
SEED ફીડબેક લૂપને કેવી રીતે બદલે છે
SEED (Self-Evolving On-Policy Distillation) દરેક એપિસોડ પછી બીજો લર્નિંગ પાસ ઉમેરે છે:
- કાર્ય પૂર્ણ કરો – એજન્ટ કાર્ય પૂર્ણ કરે છે, અને સામાન્ય સફળતા/નિષ્ફળતાનું લેબલ મેળવે છે.
- તેના પોતાના ટ્રાન્સક્રિપ્ટ વાંચો – ક્રિયાઓ (actions), અવલોકનો (observations) અને મધ્યવર્તી નિર્ણયોનો ક્રમ મોડેલને પાછો આપવામાં આવે છે.
- કુદરતી ભાષામાં પાઠ લખો – મોડેલ ટૂંકા વાક્યો બનાવે છે જે સમજાવે છે કે શું ખોટું થયું હતું, દા.ત., “સર્ચ ટર્મ ‘X’ એ અપ્રસ્તુત પરિણામો આપ્યા” અથવા “‘Z’ ને બદલે ફાઇલ ‘Y’ ખોલી”.
- પાઠોને પોલિસી અપડેટ્સમાં ડિસ્ટિલ કરો – તે વાક્યો તાલીમ માટેના નવા on-policy distillation સ્ટેપનું લક્ષ્ય બને છે, જે મોડેલને સુધારણા પાછળના તર્ક (logic) શીખવે છે.
જનરેટ થયેલા પાઠ ઇન્ફરન્સ (inference) સમયે વપરાતા પ્રોમ્પ્ટ્સ નથી; તે આંતરિક તાલીમ સિગ્નલો છે જે પોલિસીને નવું સ્વરૂપ આપે છે. અસરકારક રીતે, એજન્ટ પોતાનો શિક્ષક બની જાય છે, જે કાચા નિષ્ફળતાના લોગ્સને સંરચિત જ્ઞાનમાં રૂપાંતરિત કરે છે.
આ અભિગમ મેમરી ટ્રિક્સ કરતાં વધુ કાર્યક્ષમ કેમ છે
એક સામાન્ય ઉપાય એ છે કે એક્સટર્નલ મેમરી બફર જોડવું જે પછીથી યાદ કરવા માટે નોંધપાત્ર સ્ટેટ્સ અથવા નોંધોનો સંગ્રહ કરે છે. તે વ્યૂહરચના એક વિશાળ “ફાઇલિંગ કેબિનેટ” બનાવે છે જ્યાં એજન્ટને યોગ્ય સમયે યોગ્ય માહિતી મેળવવાનું શીખવું પડે છે—એક અઘરી સમસ્યા જે વધારાનો બોજ (overhead) ઉમેરે છે અને ક્રિયા અને પરિણામ વચ્ચેના કારણભૂત સંબંધને (causal link) ચૂકી શકે છે.
SEED રિટ્રાઇવલ (retrieval) સમસ્યાને ટાળે છે. ડિસ્ટિલેશન દ્વારા પાઠને સીધા પોલિસીમાં એમ્બેડ કરીને, એજન્ટ સુધારણાને પછીથી શોધવા માટેની નોંધ તરીકે નહીં, પરંતુ એક કૌશલ્ય (skill) તરીકે આત્મસાત કરે છે. પરિણામ એ છે કે ભૂલ શોધવા અને વર્તનમાં ફેરફાર વચ્ચે વધુ મજબૂત લૂપ બને છે.
મહત્વના આંકડા
- ALFWorld benchmark – સરેરાશ સ્કોર 91.8, જે સમાન એન્વાયરમેન્ટનો ઉપયોગ કરતા પરંપરાગત RL બેઝલાઇન્સને હરાવે છે.
- ડેટા કાર્યક્ષમતા – અંદાજે 40% ઓછા તાલીમ એપિસોડ્સ સાથે સમાન અથવા વધુ સારું પ્રદર્શન પ્રાપ્ત કરે છે.
- જનરલાઇઝેશન – અણજોયેલા કાર્યો પર, આ પદ્ધતિ સ્ટાન્ડર્ડ RL કરતા 15.3 પોઈન્ટ્સ વધારે ઉમેરે છે, જે સૂચવે છે કે સ્વ-જનરેટ થયેલા પાઠ ટ્રાન્સફરેબલ રીઝનિંગ પેટર્નને કેપ્ચર કરે છે.
આ આંકડા સૂચવે છે કે SEED જટિલ એજન્ટોની તાલીમ માટે કમ્પ્યુટેશનલ અને ડેટા બજેટ ઘટાડી શકે છે, જે વિશાળ સિમ્યુલેશન સંસાધનોનો અભાવ ધરાવતી ટીમો માટે વરદાનરૂપ છે.
જોખમો અને મર્યાદાઓ
આ ટેકનિક મોડેલની પોતાના અનુભવને યોગ્ય રીતે સમજવાની ક્ષમતા પર આધારિત છે. જો એજન્ટ એન્વાયરમેન્ટને ખોટી રીતે વાંચે—દા.ત., નિષ્ફળતા માટે ખોટું કારણ આપવું—તો તે આત્મવિશ્વાસ સાથે ખોટો પાઠ બનાવી શકે છે. આવા ભ્રામક (hallucinated) સલાહ પર તાલીમ આપવાથી ખરાબ આદતો મજબૂત થઈ શકે છે. લેખકો નોંધે છે કે આ માનવ પોસ્ટ-મોર્ટમ જેવું છે, જ્યાં વિશ્લેષકો ક્યારેક ઊંડા પ્રશ્નોને છુપાવવા માટે વધુ પડતી વ્યવસ્થિત સમજૂતીઓ બનાવે છે.
આગળ શું જોવું
- હાલના RL પાઇપલાઇન્સ સાથેનું સંકલન – કારણ કે SEED માત્ર પોસ્ટ-એપિસોડ પ્રોસેસિંગ સ્ટેપ ઉમેરે છે, તેને મધ્યમ એન્જિનિયરિંગ પ્રયાસ સાથે ઘણા હાલના તાલીમ લૂપ્સમાં ઉમેરી શકાય છે.
RL એજન્ટ્સ બનાવતા ડેવલપર્સ એ એપિસોડ લોગ્સને માત્ર આર્કાઇવલ ડેટા કરતાં વધુ માનવાનું શરૂ કરવું જોઈએ. દરેક રન પછી, સિસ્ટમને નીચેની બાબતો દર્શાવવા કહો:
- એ નિર્ણય જેણે કાર્યને સૌથી વધુ આગળ વધાર્યું.
- એ ધારણા (assumption) જેના કારણે સ્ટેપ્સનો સૌથી વધુ બગાડ થયો.
- એક સરળ ચેક જે ભૂલને વહેલી પકડી શક્યો હોત.
આ નોંધોને ad-hoc પ્રોમ્પ્ટ્સ તરીકે પાછા આપવાને બદલે, તેને SEED સૂચવે છે તેવા ડિસ્ટિલેશન સ્ટેપમાં આપો. વળતર સ્પષ્ટ છે: બહેતર પ્રદર્શન, ઓછો ડેટા, અને એક એવું મોડેલ જે પોતાની ભૂલો સમજતા શીખે છે.
મુખ્ય તારણ: નિષ્ફળતાના ટ્રાન્સક્રિપ્ટ્સને સ્વ-ઉત્પન્ન પાઠોમાં બદલવાથી વિરલ રિવોર્ડ ફીડબેકને સમૃદ્ધ, પુનઃઉપયોગી તાલીમ સંકેતમાં રૂપાંતરિત કરી શકાય છે, જે ઝડપી અને વધુ ડેટા-કાર્યક્ષમ RL તરફનો વ્યવહારિક માર્ગ પ્રદાન કરે છે.