ಮಾಡೆಲ್ ನೆನಪಿಟ್ಟುಕೊಳ್ಳುವುದಿಲ್ಲ. ನೀವು ನೆನಪಿಟ್ಟುಕೊಳ್ಳುತ್ತೀರಿ.
Large Language Models (LLMs) ಗೆ ನೆನಪಿನ ಶಕ್ತಿ (memory) ಇರುವುದಿಲ್ಲ.
ಪ್ರತಿಯೊಂದು ಚಾಟ್ ಸೆಷನ್ ತನ್ನದೇ ಆದ ಸಂದರ್ಭವನ್ನು (context) ಸಂಗ್ರಹಿಸುತ್ತದೆ ಎಂದು ನಾನು ಭಾವಿಸುತ್ತಿದ್ದೆ. ನಾನು ತಪ್ಪು ಮಾಡಿದ್ದೆ. ನೀವು LLM ಜೊತೆ ಮಾತನಾಡುವಾಗ, ನೀವು ಹಿಂದಿನ ಪ್ರಶ್ನೆಯನ್ನು ಮತ್ತೆ ಕಳುಹಿಸದ ಹೊರತು ಅದು ನಿಮ್ಮ ಕೊನೆಯ ಪ್ರಶ್ನೆಯನ್ನು ನೆನಪಿಟ್ಟುಕೊಳ್ಳುವುದಿಲ್ಲ.
ಮಾಡೆಲ್ 'stateless' ಆಗಿದೆ. ಅಂದರೆ ಪ್ರತಿಯೊಂದು ವಿನಂತಿಯು (request) ಒಂದು ಹೊಸ ಆರಂಭವಾಗಿದೆ.
ಸಂಭಾಷಣೆಯನ್ನು ಸೃಷ್ಟಿಸಲು, ನೀವು ಇತಿಹಾಸವನ್ನು (history) ನೀವೇ ನಿರ್ವಹಿಸಬೇಕು. ಪ್ರತಿಯೊಂದು ಹೊಸ ವಿನಂತಿಯೊಂದಿಗೆ ಹಿಂದಿನ ಎಲ್ಲಾ ಸಂದೇಶಗಳ ಅರೇ (array) ಅನ್ನು ಕಳುಹಿಸುವ ಮೂಲಕ ನೀವು ಇದನ್ನು ಮಾಡಬಹುದು.
"Memory" ಎಂಬುದು ಕೇವಲ ಸಂದೇಶಗಳ ಪಟ್ಟಿಯಾಗಿದೆ:
- User: Hello.
- Assistant: Hi there!
- User: How are you?
ನಿಮ್ಮ ಮುಂದಿನ ವಿನಂತಿಯಲ್ಲಿ ಮೊದಲ ಎರಡು ಸಾಲುಗಳನ್ನು ನೀವು ಸೇರಿಸದಿದ್ದರೆ, ನೀವು ಈಗಾಗಲೇ ನಮಸ್ಕಾರ ಹೇಳಿದ್ದೀರಿ ಎಂಬುದು ಮಾಡೆಲ್ಗೆ ತಿಳಿಯುವುದಿಲ್ಲ.
ನಾನು SDKಗಳನ್ನು ಬಳಸದೆ ಇದನ್ನು ಕಲಿತೆ. ಹೆಚ್ಚಿನ ಡೆವಲಪರ್ಗಳು ಈ ಸಂಕೀರ್ಣತೆಯನ್ನು ಮರೆಮಾಚಲು Anthropic SDK ನಂತಹ ಪರಿಕರಗಳನ್ನು ಬಳಸುತ್ತಾರೆ. SDK ನಿಮ್ಮ ಪರವಾಗಿ ಸಂದೇಶದ ಇತಿಹಾಸ ಮತ್ತು ಹೆಡರ್ಗಳನ್ನು (headers) ನಿರ್ವಹಿಸುತ್ತದೆ.
LLM ಹೇಗೆ ಕೆಲಸ ಮಾಡುತ್ತದೆ ಎಂದು ನೀವು ಕಲಿಯಲು ಬಯಸಿದರೆ, ಅದರ ಬದಲಿಗೆ raw fetch ಬಳಸಿ. ಯಾವುದೇ abstraction ಬಳಸಬೇಡಿ. ನೀವು ವಿನಂತಿ (request) ಮತ್ತು ಪ್ರತಿಕ್ರಿಯೆಯ (response) ಚಕ್ರವನ್ನು ಮ್ಯಾನುಯಲ್ ಆಗಿ ನಿರ್ವಹಿಸಿದಾಗ, ಪ್ರತಿಯೊಂದು ನಿರ್ಧಾರವೂ ನಿಮಗೆ ತಿಳಿಯುತ್ತದೆ.
ಈ ಮ್ಯಾನುಯಲ್ ನಿಯಂತ್ರಣವು ಮುಂದೆ ನೀವು ಸುಧಾರಿತ ತಂತ್ರಗಳನ್ನು ರೂಪಿಸಲು ಅನುವು ಮಾಡಿಕೊಡುತ್ತದೆ, ಉದಾಹರಣೆಗೆ:
- ದೀರ್ಘ ಚಾಟ್ಗಳನ್ನು ನಿರ್ವಹಿಸಲು Sliding windows.
- Retrieval Augmented Generation (RAG).
- Semantic search.
ಈ ಅರೇ (array) ಅನ್ನು ಅರ್ಥಮಾಡಿಕೊಳ್ಳುವುದು AI ಅಭಿವೃದ್ಧಿಯ ಅಡಿಪಾಯವಾಗಿದೆ. ಸಂದರ್ಭವನ್ನು (context) ಒದಗಿಸುವವರು ನೀವೇ. ನೀವು ಏನನ್ನು ಕಳುಹಿಸುತ್ತೀರೋ ಅದನ್ನು ಮಾತ್ರ ಮಾಡೆಲ್ ತಿಳಿಯುತ್ತದೆ.
Source: https://dev.to/marcochavezco/the-model-doesnt-remember-you-do-3mmk