𝗦𝘁𝗼𝗽 𝗟𝗼𝗮𝗱𝗶𝗻𝗴 𝗘𝘃𝗲𝗿𝘆 𝗜𝗻𝘀𝘁𝗿𝘂𝗰𝘁𝗶𝗼𝗻 𝗜𝗻𝘁𝗼 𝗘𝘃𝗲𝗿𝘆 𝗦𝗲𝘀𝘀𝗶𝗼𝗻
ಹೆಚ್ಚಿನ ಜನರು ಉತ್ತಮ ಪ್ರಾಂಪ್ಟ್ಗಳ ಮೇಲೆ ಗಮನ ಹರಿಸುತ್ತಾರೆ. ಪ್ರಾಂಪ್ಟ್ ಪ್ರಾರಂಭವಾಗುವ ಮೊದಲು ಏನಾಗುತ್ತದೆ ಎಂಬುದನ್ನು ಅವರು ನಿರ್ಲಕ್ಷಿಸುತ್ತಾರೆ. ಅವರು ಅಸಿಸ್ಟೆಂಟ್ ಕಾನ್ಟೆಕ್ಸ್ನಲ್ಲಿ (assistant context) ಅತಿಯಾದ ಸೂಚನೆಗಳನ್ನು ಲೋಡ್ ಮಾಡುತ್ತಾರೆ.
ಇದು ಮೂರು ಸಮಸ್ಯೆಗಳನ್ನು ಉಂಟುಮಾಡುತ್ತದೆ:
- ಹೆಚ್ಚಿನ ಟೋಕನ್ ವೆಚ್ಚಗಳು (High token costs).
- ಹೆಚ್ಚಿನ ವಿಳಂಬ (High latency).
- ಕಡಿಮೆ ಸಿಗ್ನಲ್-ಟು-ನಾಯ್ಸ್ ಅನುಪಾತ (Low signal-to-noise ratio).
ನೀವು ಪ್ರತಿ ಸಣ್ಣ ಪ್ರಶ್ನೆಗೂ ಒಂದು ಬೃಹತ್ ಸೂಚನಾ ಫೈಲ್ ಅನ್ನು ಲೋಡ್ ಮಾಡಿದಾಗ, ಅದು ಒಂದು ಸರಳ ಪ್ರಶ್ನೆಯನ್ನು ಕೇಳುವ ಮೊದಲು ಇಡೀ ಉದ್ಯೋಗಿ ಕೈಪಿಡಿಯನ್ನು (employee handbook) ಓದುವಂತೆಯೇ ಇರುತ್ತದೆ. ಆ ಮಾಹಿತಿಯ ಹೆಚ್ಚಿನ ಭಾಗವು ಪ್ರಸ್ತುತ ಕಾರ್ಯಕ್ಕೆ ಪ್ರಯೋಜನಕಾರಿಯಲ್ಲ.
ನೀವು ಎಷ್ಟು ಹೆಚ್ಚು ನಿಯಮಗಳನ್ನು ಸೇರಿಸುತ್ತೀರೋ, ಅಷ್ಟು ಹೆಚ್ಚು ಪ್ರಸ್ತುತ ಭಾಗಗಳು ಮಸುಕಾಗುತ್ತವೆ. ಹೆಚ್ಚಿನ ಕಾನ್ಟೆಕ್ಸ್ ಎಂದರೆ ಹೆಚ್ಚಿನ ಸಾಮರ್ಥ್ಯ ಎಂದರ್ಥವಲ್ಲ.
ನಾನು ಇದನ್ನು ಏಕೈಕ ಫೈಲ್ನಿಂದ ಮಾಡ್ಯುಲರ್ ಸಿಸ್ಟಮ್ಗೆ (modular system) ಬದಲಾಯಿಸುವ ಮೂಲಕ ಪರಿಹರಿಸಿದೆ. ನಾನು ನನ್ನ ಸೂಚನೆಗಳನ್ನು ವಿಶಿಷ್ಟ ಮಾಡ್ಯೂಲ್ಗಳಾಗಿ ವಿಂಗಡಿಸಿದೆ:
• instructions.md: ಯಾವಾಗಲೂ ಲೋಡ್ ಆಗುವ ಒಂದು ಸಣ್ಣ ಎಂಟ್ರಿ ಪಾಯಿಂಟ್. • persona.md: ವ್ಯಕ್ತಿತ್ವ ಮತ್ತು ಧಾಟಿ (Personality and tone). • structure.md: ನ್ಯಾವಿಗೇಷನ್ ಕಾರ್ಯಗಳಿಗಾಗಿ ಸಿಸ್ಟಮ್ ರಚನೆ. • workflows.md: ಸೆಷನ್ಗಳನ್ನು ಕೊನೆಗೊಳಿಸಲು ನಿರ್ದಿಷ್ಟ ನಿಯಮಗಳು.
ಈಗ, ಮುಖ್ಯ ಫೈಲ್ ಒಂದು ರೂಟರ್ (router) ಆಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ. ಕಾರ್ಯಕ್ಕೆ ಅಗತ್ಯವಿದ್ದಾಗ ಮಾತ್ರ ಅದು ಇತರ ಮಾಡ್ಯೂಲ್ಗಳನ್ನು ಕರೆಯುತ್ತದೆ.
ಉದಾಹರಣೆಗೆ:
- ನೀವು ಒಂದು ಪ್ರಾಜೆಕ್ಟ್ ಅನ್ನು ನ್ಯಾವಿಗೇಟ್ ಮಾಡಬೇಕಿದ್ದರೆ, structure.md ಅನ್ನು ಲೋಡ್ ಮಾಡಿ.
- ನೀವು ಒಂದು ಸೆಷನ್ ಅನ್ನು ಕೊನೆಗೊಳಿಸಬೇಕಿದ್ದರೆ, workflows.md ಅನ್ನು ಲೋಡ್ ಮಾಡಿ.
- ನಿಮ್ಮಲ್ಲಿ ಒಂದು ಸಣ್ಣ ಪ್ರಶ್ನೆ ಇದ್ದರೆ, ಬೇರೇನನ್ನೂ ಲೋಡ್ ಮಾಡಬೇಡಿ.
ಫಲಿತಾಂಶಗಳು ಸ್ಪಷ್ಟವಾಗಿದ್ದವು. ನನ್ನ ಬೇಸ್ಲೈನ್ ಟೋಕನ್ ಲೋಡ್ 4,800 ಟೋಕನ್ಗಳಿಂದ 1,450 ಟೋಕನ್ಗಳಿಗೆ ಇಳಿಕೆಯಾಯಿತು. ಅಂದರೆ 70% ಕಡಿತ.
ಗುರಿ ಸೂಚನೆಗಳನ್ನು ಚಿಕ್ಕದಾಗಿಸುವುದಲ್ಲ. ಬೇಸ್ಲೈನ್ ಲೋಡ್ ಅನ್ನು ಆನ್-ಡಿಮ್ಯಾಂಡ್ ಲೋಡ್ನಿಂದ ಪ್ರತ್ಯೇಕಿಸುವುದು ಗುರಿಯಾಗಿದೆ.
ಬೇಸ್ಲೈನ್ ಲೋಡ್ (Baseline load) ಎಂದರೆ ನೀವು ಪ್ರತಿ ಬಾರಿಯೂ ಪಾವತಿಸಬೇಕಾದದ್ದು. ಇದನ್ನು ನೀವು ಅತ್ಯಂತ ಕಡಿಮೆ ಇರಿಸಿಕೊಳ್ಳಬೇಕು. ಆನ್-ಡಿಮ್ಯಾಂಡ್ ಲೋಡ್ (On-demand load) ಎಂದರೆ ಅಗತ್ಯವಿದ್ದಾಗ ಮಾತ್ರ ನೀವು ಲೋಡ್ ಮಾಡುವುದು. ಇದು ದೊಡ್ಡದಾಗಿ ಮತ್ತು ವಿವರವಾಗಿರಬಹುದು.
ಈ ವಿಧಾನವು ಕೆಲವು ಮಿತಿಗಳನ್ನು (trade-offs) ಹೊಂದಿದೆ. ನೀವು ದಕ್ಷತೆಯನ್ನು ಪಡೆಯುತ್ತೀರಿ ಆದರೆ ಸೂಚನೆಗಳನ್ನು ಹೇಗೆ ರೂಟ್ ಮಾಡುವುದು ಎಂಬುದರಲ್ಲಿ ಸಂಕೀರ್ಣತೆಯನ್ನು ಸೇರಿಸುತ್ತೀರಿ. ಅಸಿಸ್ಟೆಂಟ್ ಮಾಡ್ಯೂಲ್ಗಳನ್ನು ವಿಶ್ವಾಸಾರ್ಹವಾಗಿ ಪ್ರವೇಶಿಸಬಲ್ಲದು ಎಂದು ನೀವು ಖಚಿತಪಡಿಸಿಕೊಳ್ಳಬೇಕು.
ನಿಮ್ಮ ಸೂಚನೆಗಳು ಚಿಕ್ಕದಾಗಿದ್ದರೆ, ಇದನ್ನು ಮಾಡಬೇಡಿ. ಇದು ಸಮಯದ ವ್ಯರ್ಥ. ನಿಮ್ಮ ಸೂಚನೆಗಳ ಸೆಟ್ ದೊಡ್ಡದಾಗಿದ್ದರೆ ಮತ್ತು ಬೆಳೆಯುತ್ತಿದ್ದರೆ, ಇದನ್ನು ತಕ್ಷಣವೇ ಮಾಡಿ.
ಅಸಿಸ್ಟೆಂಟ್ಗೆ ಅನಗತ್ಯ ಹೊರೆಯನ್ನು ಹೊರಿಸಲು ಒತ್ತಾಯಿಸುವುದನ್ನು ನಿಲ್ಲಿಸಿ. ಅಪ್ರಸ್ತುತ ಸೂಚನೆಗಳಿಂದ ಮುಕ್ತವಾಗಿಡಿ.
Optional learning community: https://t.me/GyaanSetuAi