𝗪𝗵𝘆 𝗔𝗜 𝗡𝗲𝗲𝗱𝘀 𝗦𝘁𝗮𝘁𝗲 𝗠𝗮𝗻𝗮𝗴𝗲𝗺𝗲𝗻𝘁 𝗠𝗼𝗿𝗲 𝗧𝗵𝗮𝗻 𝗕𝗶𝗴𝗴𝗲𝗿 𝗖𝗼𝗻𝘁𝗲𝘅𝘁 𝗪𝗶𝗻𝗱𝗼𝘄𝘀

નવા મોડલ્સ વિશાળ context windows સાથે લોન્ચ થાય છે. ધારણા સરળ છે. એક જ રિક્વેસ્ટમાં વધુ ડેટા દરેક સમસ્યાનો ઉકેલ લાવશે.

તમે વધુ દસ્તાવેજો ઉમેરો છો. તમે વધુ હિસ્ટ્રી ઉમેરો છો. તમે વધુ વર્કફ્લો ડેટા ઉમેરો છો.

પરંતુ પ્રોડક્શનમાં AI ચલાવ્યા પછી, અમે એક પાઠ શીખ્યા. Context windows મદદ કરે છે. પરંતુ State management વધુ મહત્વનું છે.

જ્યારે AI ખરાબ પરિણામો આપે છે, ત્યારે ટીમો ઘણીવાર પ્રોમ્પ્ટમાં વધુ માહિતી ઉમેરે છે. તેઓ વિચારે છે કે મોડલને વધુ હિસ્ટ્રી અથવા વધુ બિઝનેસ કોન્ટેક્સ્ટની જરૂર છે. પ્રોમ્પ્ટ વધતો જાય છે.

વધુ માહિતીનો અર્થ વધુ સારા નિર્ણયો એવો નથી. તે ઘણીવાર તેનાથી વિપરીત પરિણામ લાવે છે. મોટા context windows ખરાબ આર્કિટેક્ચરને છુપાવે છે. સુસંગત ડેટા પસંદ કરવાને બદલે, સિસ્ટમ્સ બધું જ સામેલ કરી લે છે.

આનાથી અનેક સમસ્યાઓ ઊભી થાય છે:

મોડલ પાસે વધુ માહિતી હોય છે પરંતુ સ્પષ્ટતા ઓછી હોય છે.

તમારે context અને state વચ્ચેનો તફાવત સમજવો જોઈએ. Context એ એક સિંગલ રિક્વેસ્ટ દરમિયાન ઉપલબ્ધ માહિતી છે. State એ એવી માહિતી છે જે સિસ્ટમ સમય જતાં જાણે છે.

State ના ઉદાહરણો:

આ બધું દરેક પ્રોમ્પ્ટની અંદર હોવું જરૂરી નથી. ડિસ્ટ્રિબ્યુટેડ સિસ્ટમ્સ બધો ડેટા બધે જ મોકલીને જટિલતાનો ઉકેલ લાવતી નથી. તેઓ state મેનેજ કરવા માટે ડેટાબેઝ, કેશ (caches) અને ક્યુઝ (queues) નો ઉપયોગ કરે છે.

AI સિસ્ટમ્સ ઘણીવાર આ શિસ્તને અવગણે છે. તેઓ context window ને કામચલાઉ ડેટાબેઝ તરીકે જુએ છે. આ આર્કિટેક્ચરલ આળસ છે.

"શું આપણે બધું સમાવી શકીએ?" એ પૂછવાનું બંધ કરો. "કઈ માહિતી જરૂરી છે?" એ પૂછવાનું શરૂ કરો.

અમે context સાઈઝ વધારવાને બદલે state management સુધારીને વધુ સારા પરિણામો જોયા. અમે આ રીતે કર્યું:

આનાથી ખર્ચ ઘટ્યો અને ઝડપી એક્ઝિક્યુશન મળ્યું. આ માટે મોટા મોડલ્સની જરૂર નહોતી. આ માટે માત્ર સારા ડિઝાઇનની જરૂર હતી.

ધ્યેય મોડલને બધી વસ્તુઓનો એક્સેસ આપવાનો નથી. ધ્યેય મોડલને યોગ્ય સમયે યોગ્ય માહિતી આપવાનો છે.

Source: https://dev.to/karan2598/why-ai-systems-need-state-management-more-than-bigger-context-windows-2a4m

Optional learning community: https://t.me/GyaanSetuAi