દરેક સત્રમાં દરેક સૂચના લોડ કરવાનું બંધ કરો
મોટાભાગના લોકો સારા પ્રોમ્પ્ટ્સ (prompts) પર ધ્યાન કેન્દ્રિત કરે છે. તેઓ પ્રોમ્પ્ટ શરૂ થાય તે પહેલાં શું થાય છે તેના પર ધ્યાન આપતા નથી. તેઓ આસિસ્ટન્ટના કોન્ટેક્સ્ટમાં (context) ખૂબ બધી સૂચનાઓ લોડ કરે છે.
આનાથી ત્રણ સમસ્યાઓ થાય છે:
- ઊંચો ટોકન ખર્ચ (High token costs).
- વધુ લેટન્સી (High latency).
- ઓછું સિગ્નલ-ટુ-નોઈઝ રેશિયો (Low signal-to-noise ratio).
જ્યારે તમે દરેક નાના પ્રશ્ન માટે એક વિશાળ સૂચના ફાઇલ લોડ કરો છો, ત્યારે તે એક સાદો પ્રશ્ન પૂછતા પહેલા આખા કર્મચારી હેન્ડબુક (employee handbook) વાંચવા જેવું છે. તેમાંથી મોટાભાગની માહિતી વર્તમાન કાર્ય માટે નકામી હોય છે.
તમે જેટલા વધુ નિયમો ઉમેરશો, તેટલા જ તમે સુસંગત ભાગોને નબળા પાડશો. વધુ કોન્ટેક્સ્ટ (context) નો અર્થ વધુ ક્ષમતા નથી.
મેં સિંગલ ફાઇલથી મોડ્યુલર સિસ્ટમ (modular system) પર સ્થાનાંતરિત થઈને આ સમસ્યાનો ઉકેલ લાવ્યો. મેં મારી સૂચનાઓને વિશિષ્ટ મોડ્યુલ્સમાં વિભાજિત કરી:
• instructions.md: એક નાનું એન્ટ્રી પોઈન્ટ જે હંમેશા લોડ થાય છે. • persona.md: વ્યક્તિત્વ અને ટોન (tone). • structure.md: નેવિગેશન કાર્યો માટે સિસ્ટમ સ્ટ્રક્ચર. • workflows.md: સત્રો સમાપ્ત કરવા માટેના ચોક્કસ નિયમો.
હવે, મુખ્ય ફાઇલ એક રાઉટર (router) તરીકે કામ કરે છે. જ્યારે કાર્યની જરૂર હોય ત્યારે જ તે અન્ય મોડ્યુલ્સને કોલ કરે છે.
ઉદાહરણ તરીકે:
- જો તમારે પ્રોજેક્ટ નેવિગેટ કરવાની જરૂર હોય, તો structure.md લોડ કરો.
- જો તમારે સત્ર સમાપ્ત કરવાની જરૂર હોય, તો workflows.md લોડ કરો.
- જો તમારી પાસે ઝડપી પ્રશ્ન હોય, તો બીજું કંઈ લોડ ન કરો.
પરિણામો સ્પષ્ટ હતા. મારો બેઝલાઇન ટોકન લોડ (baseline token load) 4,800 ટોકનથી ઘટીને 1,450 ટોકન થઈ ગયો. તે 70% નો ઘટાડો છે.
ધ્યેય સૂચનાઓને નાની બનાવવાનો નથી. ધ્યેય બેઝલાઇન લોડને ઓન-ડિમાન્ડ લોડ (on-demand load) થી અલગ કરવાનો છે.
બેઝલાઇન લોડ તે છે જેના માટે તમારે દર વખતે ચૂકવણી કરવી પડે છે. તમારે તેને ખૂબ જ નાનું રાખવું જોઈએ. ઓન-ડિમાન્ડ લોડ તે છે જે તમે ત્યારે જ લોડ કરો છો જ્યારે તે મહત્વનું હોય. તે મોટું અને વિગતવાર હોઈ શકે છે.
આ અભિગમમાં કેટલાક ફાયદા અને નુકસાન (trade-offs) છે. તમે કાર્યક્ષમતા મેળવો છો પરંતુ સૂચનાઓ કેવી રીતે રૂટ કરવી તેમાં જટિલતા ઉમેરો છો. તમારે ખાતરી કરવી જોઈએ કે આસિસ્ટન્ટ વિશ્વસનીય રીતે મોડ્યુલ્સને એક્સેસ કરી શકે છે.
જો તમારી સૂચનાઓ નાની હોય, તો આ ન કરો. તે સમયનો બગાડ છે. જો તમારો સૂચના સેટ વિશાળ હોય અને વધી રહ્યો હોય, તો તરત જ આ કરો.
આસિસ્ટન્ટને બિનજરૂરી ભાર વહન કરવા માટે મજબૂર કરવાનું બંધ કરો. બિનજરૂરી સૂચનાઓથી જગ્યા ખાલી રાખો.
Optional learning community: https://t.me/GyaanSetuAi