𝗪𝗵𝘆 𝗔𝗜 𝗖𝗵𝗮𝗿𝗮𝗰𝘁𝗲𝗿𝘀 𝗙𝗼𝗿𝗴𝗲𝘁 𝗧𝗵𝗲𝗶𝗿 𝗜𝗱𝗲𝗻𝘁𝗶𝘁𝘆
તમે એક પાત્ર બનાવવામાં બે કલાક વિતાવો છો. ત્રીસ વાર વાતચીત કર્યા પછી, તે પાત્ર પોતાનું નામ ભૂલી જાય છે. તે એક સામાન્ય આસિસ્ટન્ટની જેમ વર્તવા લાગે છે.
મોટાભાગના લોકો વિચારે છે કે AI ની યાદશક્તિ નબળી છે. આ વિચાર ખોટો છે.
સમસ્યા context window ની છે.
Chat models stateless હોય છે. જ્યારે પણ તમે મેસેજ મોકલો છો, ત્યારે એપ સિસ્ટમ પ્રોમ્પ્ટ, પાત્રની વિગતો અને તમારી તાજેતરની ચેટ હિસ્ટ્રી મોડેલને પાછી મોકલે છે.
જેને તમે મેમરી કહો છો તે માત્ર તે ઇનપુટ વિન્ડોની અંદર રહેલી હિસ્ટ્રી છે.
જ્યારે ચેટ ખૂબ લાંબી થઈ જાય છે, ત્યારે જૂના મેસેજ વિન્ડોની બહાર નીકળી જાય છે. ટર્ન 41 માટે જગ્યા બનાવવા માટે ટર્ન 12 ની વિગતો ગાયબ થઈ જાય છે. મોડેલ ભૂલતું નથી. એપ ફક્ત તેને માહિતી બતાવવાનું બંધ કરી દે છે.
મોટી context window એ આ સમસ્યાનો ઉકેલ નથી.
મોટી વિન્ડોઝ બે સમસ્યાઓ ઊભી કરે છે:
- Cost and speed. વિન્ડોનું કદ બમણું કરવાથી કમ્પ્યુટિંગ જરૂરિયાતોમાં નોંધપાત્ર વધારો થાય છે. જવાબો ઝડપી અને સસ્તા રાખવા માટે એપ્સ ઘણીવાર વિન્ડોને મર્યાદિત રાખે છે.
- Middle degradation. સંશોધન દર્શાવે છે કે મોડેલ્સ લાંબા લખાણની શરૂઆતમાં અથવા અંતમાં તથ્યો સારી રીતે શોધી શકે છે. તેઓ વચ્ચે દબાયેલા તથ્યો ચૂકી જાય છે.
શ્રેષ્ઠ એપ્સ માત્ર વિન્ડોના કદ પર આધાર રાખતી નથી. તેઓ બે ચોક્કસ પદ્ધતિઓનો ઉપયોગ કરે છે:
- Recursive summarization: એપ જૂના મેસેજને ટૂંકા સારાંશમાં ફેરવે છે. આ વધુ જગ્યા રોક્યા વગર મુખ્ય તથ્યોને જીવંત રાખે છે.
- Retrieval: એપ જૂના મેસેજને ડેટાબેઝમાં સ્ટોર કરે છે. જ્યારે તમને જરૂર હોય ત્યારે તે ફક્ત સંબંધિત તથ્યો જ બહાર કાઢે છે. આ રીતે lorebooks કામ કરે છે.
એક સારી એપ અને ખરાબ એપ વચ્ચેનો તફાવત આર્કિટેક્ચર (architecture) છે. એક મેમરી લેયરનો ઉપયોગ કરે છે. બીજી માત્ર એક કાચી વિન્ડો પરનું પાતળું પડ (thin wrapper) છે.
જો તમારું પાત્ર તેનું વ્યક્તિત્વ ગુમાવે છે, તો મોટું મોડેલ વાપરશો નહીં. માળખું બદલો. જૂના ટર્ન્સનો સારાંશ બનાવો. જે મહત્વનું છે તે retrieve કરો.
context window ને હાર્ડ ડ્રાઈવ તરીકે નહીં, પણ કેશ (cache) તરીકે ગણો.
Optional learning community: https://t.me/GyaanSetuAi