AI ಪಾತ್ರಗಳು ತಮ್ಮ ಅಸ್ತಿತ್ವವನ್ನು ಏಕೆ ಮರೆಯುತ್ತವೆ
ನೀವು ಒಂದು ಪಾತ್ರವನ್ನು ರೂಪಿಸಲು ಎರಡು ಗಂಟೆಗಳನ್ನು ವ್ಯಯಿಸುತ್ತೀರಿ. ಮೂವತ್ತು ಸಂಭಾಷಣೆಗಳ ನಂತರ, ಆ ಪಾತ್ರವು ತನ್ನ ಹೆಸರನ್ನೇ ಮರೆಯುತ್ತದೆ. ಅದು ಕೇವಲ ಒಂದು ಸಾಮಾನ್ಯ ಸಹಾಯಕಿಯಂತೆ ವರ್ತಿಸಲು ಪ್ರಾರಂಭಿಸುತ್ತದೆ.
ಹೆಚ್ಚಿನ ಜನರು AI ಗೆ ಕಳಪೆ ನೆನಪಿನ ಶಕ್ತಿ ಇದೆ ಎಂದು ಭಾವಿಸುತ್ತಾರೆ. ಈ ಕಲ್ಪನೆ ತಪ್ಪಾಗಿದೆ.
ಸಮಸ್ಯೆ ಎಂದರೆ context window.
Chat ಮಾಡೆಲ್ಗಳು stateless ಆಗಿರುತ್ತವೆ. ನೀವು ಪ್ರತಿ ಬಾರಿ ಸಂದೇಶವನ್ನು ಕಳುಹಿಸಿದಾಗಲೂ, ಆಪ್ ಸಿಸ್ಟಮ್ ಪ್ರಾಂಪ್ಟ್ (system prompt), ಪಾತ್ರದ ವಿವರಗಳು ಮತ್ತು ನಿಮ್ಮ ಇತ್ತೀಚಿನ ಚಾಟ್ ಇತಿಹಾಸವನ್ನು ಮರಳಿ ಮಾಡೆಲ್ಗೆ ಕಳುಹಿಸುತ್ತದೆ.
ನೀವು ನೆನಪು ಎಂದು ಕರೆಯುವುದು ಕೇವಲ ಆ ಇನ್ಪುಟ್ ವಿಂಡೋದಲ್ಲಿ (input window) ಉಳಿದಿರುವ ಇತಿಹಾಸವಷ್ಟೇ ಆಗಿದೆ.
ಚಾಟ್ ತುಂಬಾ ಉದ್ದವಾದಾಗ, ಹಳೆಯ ಸಂದೇಶಗಳು ವಿಂಡೋದಿಂದ ಹೊರಬರುತ್ತವೆ. 41ನೇ ಸಂಭಾಷಣೆಗೆ ಜಾಗ ಮಾಡಿಕೊಡಲು 12ನೇ ಸಂಭಾಷಣೆಯ ವಿವರಗಳು ಮಾಯವಾಗುತ್ತವೆ. ಮಾಡೆಲ್ ಮರೆಯುವುದಿಲ್ಲ. ಆಪ್ ಕೇವಲ ಆ ಮಾಹಿತಿಯನ್ನು ತೋರಿಸುವುದನ್ನು ನಿಲ್ಲಿಸುತ್ತದೆ.
ದೊಡ್ಡ context window ಇರುವುದು ಪರಿಹಾರವಲ್ಲ.
ದೊಡ್ಡ ವಿಂಡೋಗಳು ಎರಡು ಸಮಸ್ಯೆಗಳನ್ನು ಉಂಟುಮಾಡುತ್ತವೆ:
- ವೆಚ್ಚ ಮತ್ತು ವೇಗ: ವಿಂಡೋ ಗಾತ್ರವನ್ನು ದ್ವಿಗುಣಗೊಳಿಸುವುದು ಕಂಪ್ಯೂಟ್ (compute) ಅಗತ್ಯಗಳನ್ನು ಗಣನೀಯವಾಗಿ ಹೆಚ್ಚಿಸುತ್ತದೆ. ಉತ್ತರಗಳನ್ನು ವೇಗವಾಗಿ ಮತ್ತು ಅಗ್ಗವಾಗಿರಿಸಲು ಆಪ್ಗಳು ಹೆಚ್ಚಾಗಿ ವಿಂಡೋವನ್ನು ಸೀಮಿತಗೊಳಿಸುತ್ತವೆ.
- ಮಧ್ಯಭಾಗದ ಕ್ಷೀಣತೆ (Middle degradation): ಸಂಶೋಧನೆಗಳ ಪ್ರಕಾರ, ಮಾಡೆಲ್ಗಳು ದೀರ್ಘ ಪಠ್ಯದ ಆರಂಭ ಅಥವಾ ಅಂತ್ಯದಲ್ಲಿರುವ ಸತ್ಯಗಳನ್ನು ಚೆನ್ನಾಗಿ ಪತ್ತೆಹಚ್ಚುತ್ತವೆ. ಆದರೆ ಮಧ್ಯದಲ್ಲಿ ಅಡಗಿರುವ ಸತ್ಯಗಳನ್ನು ಅವು ಮಿಸ್ ಮಾಡುತ್ತವೆ.
ಅತ್ಯುತ್ತಮ ಆಪ್ಗಳು ಕೇವಲ ವಿಂಡೋ ಗಾತ್ರದ ಮೇಲೆ ಅವಲಂಬಿತವಾಗಿರುವುದಿಲ್ಲ. ಅವು ಎರಡು ನಿರ್ದಿಷ್ಟ ವಿಧಾನಗಳನ್ನು ಬಳಸುತ್ತವೆ:
- Recursive summarization: ಆಪ್ ಹಳೆಯ ಸಂದೇಶಗಳನ್ನು ಸಣ್ಣ ಸಾರಾಂಶವಾಗಿ ಪರಿವರ್ತಿಸುತ್ತದೆ. ಇದು ಹೆಚ್ಚಿನ ಜಾಗವನ್ನು ಬಳಸದೆ ಮುಖ್ಯ ಸತ್ಯಗಳನ್ನು ಜೀವಂತವಾಗಿಡುತ್ತದೆ.
- Retrieval: ಆಪ್ ಹಳೆಯ ಸಂದೇಶಗಳನ್ನು ಡೇಟಾಬೇಸ್ನಲ್ಲಿ ಸಂಗ್ರಹಿಸುತ್ತದೆ. ನಿಮಗೆ ಅಗತ್ಯವಿದ್ದಾಗ ಅದು ಕೇವಲ ಸಂಬಂಧಿತ ಸತ್ಯಗಳನ್ನು ಮಾತ್ರ ಹೊರತೆಗೆಯುತ್ತದೆ. Lorebooks ಕೆಲಸ ಮಾಡುವುದು ಹೀಗೆಯೇ.
ಒಂದು ಉತ್ತಮ ಆಪ್ ಮತ್ತು ಕೆಟ್ಟ ಆಪ್ ನಡುವಿನ ವ್ಯತ್ಯಾಸವೆಂದರೆ ಅದರ ಆರ್ಕಿಟೆಕ್ಚರ್ (architecture). ಒಂದು ಮೆಮೊರಿ ಲೇಯರ್ ಅನ್ನು ಬಳಸುತ್ತದೆ. ಇನ್ನೊಂದು ಕೇವಲ ಒಂದು ರಾವ್ ವಿಂಡೋ (raw window) ಮೇಲೆ ಇರುವ ತೆಳುವಾದ ಕವಚದಂತೆ ಇರುತ್ತದೆ.
ನಿಮ್ಮ ಪಾತ್ರವು ತನ್ನ ವ್ಯಕ್ತಿತ್ವವನ್ನು ಕಳೆದುಕೊಳ್ಳುತ್ತಿದ್ದರೆ, ದೊಡ್ಡ ಮಾಡೆಲ್ ಅನ್ನು ಬಳಸಬೇಡಿ. ರಚನೆಯನ್ನು ಬದಲಾಯಿಸಿ. ಹಳೆಯ ಸಂಭಾಷಣೆಗಳನ್ನು ಸಾರಾಂಶಗೊಳಿಸಿ. ಮುಖ್ಯವಾದವುಗಳನ್ನು ರಿಟ್ರೀವ್ (retrieve) ಮಾಡಿ.
Context window ಅನ್ನು ಹಾರ್ಡ್ ಡ್ರೈವ್ನಂತೆ ಅಲ್ಲದೆ, ಕ್ಯಾಶ್ (cache) ನಂತೆ ಪರಿಗಣಿಸಿ.
Optional learning community: https://t.me/GyaanSetuAi