𝗦𝘁𝗼𝗽 𝗟𝗼𝗮𝗱𝗶𝗻𝗴 𝗘𝘃𝗲𝗿𝘆 𝗜𝗻𝘀𝘁𝗿𝘂𝗰𝘁𝗶𝗼𝗻 𝗜𝗻𝘁𝗼 𝗘𝘃𝗲𝗿𝘆 𝗦𝗲𝘀𝘀𝗶𝗼𝗻
अधिकांश लोग बेहतर प्रॉम्प्ट्स (prompts) पर ध्यान केंद्रित करते हैं। वे प्रॉम्प्ट शुरू होने से पहले क्या होता है, इस पर ध्यान नहीं देते। वे असिस्टेंट कॉन्टेक्स्ट (assistant context) में बहुत अधिक निर्देश लोड कर देते हैं।
इससे तीन समस्याएँ होती हैं:
- उच्च टोकन लागत (High token costs)।
- उच्च लेटेंसी (High latency)।
- कम सिग्नल-टू-नॉइज़ रेशियो (Low signal-to-noise ratio)।
जब आप हर छोटे सवाल के लिए एक विशाल निर्देश फ़ाइल लोड करते हैं, तो यह एक साधारण सवाल पूछने से पहले पूरे कर्मचारी हैंडबुक को पढ़ने जैसा है। उस जानकारी का अधिकांश हिस्सा वर्तमान कार्य के लिए बेकार होता है।
आप जितने अधिक नियम जोड़ेंगे, प्रासंगिक हिस्सों का प्रभाव उतना ही कम होता जाएगा। अधिक कॉन्टेक्स्ट का मतलब अधिक क्षमता (competence) नहीं है।
मैंने एक सिंगल फ़ाइल से मॉड्यूलर सिस्टम (modular system) पर स्विच करके इस समस्या का समाधान किया। मैंने अपने निर्देशों को विशिष्ट मॉड्यूल्स में विभाजित किया:
• instructions.md: एक छोटा एंट्री पॉइंट जो हमेशा लोड होता है। • persona.md: व्यक्तित्व और लहजा (personality and tone)। • structure.md: नेविगेशन कार्यों के लिए सिस्टम संरचना। • workflows.md: सेशन समाप्त करने के लिए विशिष्ट नियम।
अब, मुख्य फ़ाइल एक राउटर (router) के रूप में कार्य करती है। यह अन्य मॉड्यूल्स को तभी कॉल करती है जब कार्य के लिए उनकी आवश्यकता होती है।
उदाहरण के लिए:
- यदि आपको किसी प्रोजेक्ट को नेविगेट करने की आवश्यकता है, तो structure.md लोड करें।
- यदि आपको सेशन समाप्त करने की आवश्यकता है, तो workflows.md लोड करें।
- यदि आपका कोई त्वरित प्रश्न है, तो कुछ और लोड न करें।
परिणाम स्पष्ट थे। मेरा बेसलाइन टोकन लोड 4,800 टोकन से घटकर 1,450 टोकन रह गया। यह 70% की कमी है।
लक्ष्य निर्देशों को छोटा करना नहीं है। लक्ष्य बेसलाइन लोड (baseline load) को ऑन-डिमांड लोड (on-demand load) से अलग करना है।
बेसलाइन लोड वह है जिसके लिए आप हर बार भुगतान करते हैं। आपको इसे बहुत छोटा रखना चाहिए। ऑन-डिमांड लोड वह है जिसे आप केवल तभी लोड करते हैं जब इसकी आवश्यकता होती है। यह बड़ा और विस्तृत हो सकता है।
इस दृष्टिकोण के कुछ ट्रेड-ऑफ (trade-offs) भी हैं। आप दक्षता (efficiency) तो प्राप्त करते हैं लेकिन निर्देशों को रूट करने के तरीके में जटिलता बढ़ जाती है। आपको यह सुनिश्चित करना होगा कि असिस्टेंट विश्वसनीय रूप से मॉड्यूल्स तक पहुँच सके।
यदि आपके निर्देश छोटे हैं, तो ऐसा न करें। यह समय की बर्बादी है। यदि आपका निर्देश सेट बहुत बड़ा है और बढ़ रहा है, तो इसे तुरंत करें।
असिस्टेंट को अनावश्यक बोझ ढोने के लिए मजबूर करना बंद करें। कॉन्टेक्स्ट को अप्रासंगिक निर्देशों से मुक्त रखें।
Optional learning community: https://t.me/GyaanSetuAi