ಮಾಡೆಲ್ ನೆನಪಿಟ್ಟುಕೊಳ್ಳುವುದಿಲ್ಲ. ನೀವು ನೆನಪಿಟ್ಟುಕೊಳ್ಳುತ್ತೀರಿ.
Large Language Models (LLMs) ಗೆ ನೆನಪಿನ ಶಕ್ತಿ (memory) ಇದೆ ಎಂದು ನಾನು ಭಾವಿಸುತ್ತಿದ್ದೆ.
ಪ್ರತಿ ಚಾಟ್ ಸೆಷನ್ ತನ್ನದೇ ಆದ ಸಂದರ್ಭವನ್ನು (context) ಸಂಗ್ರಹಿಸುತ್ತದೆ ಎಂದು ನಾನು ಅಂದುಕೊಂಡಿದ್ದೆ. ನಾನು ತಪ್ಪಾಗಿದ್ದೆ.
LLMs 'stateless' ಆಗಿರುತ್ತವೆ. ಒಂದು ವಿನಂತಿಯಿಂದ (request) ಮುಂದಿನ ವಿನಂತಿಗೆ ಮಾಡೆಲ್ ಏನನ್ನೂ ನೆನಪಿಟ್ಟುಕೊಳ್ಳುವುದಿಲ್ಲ.
ನೀವು ಚಾಟ್ ಇತಿಹಾಸವನ್ನು (chat history) ನೋಡಿದಾಗ, ನೀವು ಸಂದೇಶಗಳ ಒಂದು ಅರೇ (array) ಅನ್ನು ನೋಡುತ್ತಿರುತ್ತೀರಿ. ಸಂಭಾಷಣೆಯನ್ನು ಸೃಷ್ಟಿಸಲು, ನೀವು ಪ್ರತಿ ಹೊಸ ಪ್ರಾಂಪ್ಟ್ನೊಂದಿಗೆ ಇಡೀ ಇತಿಹಾಸವನ್ನು ಮಾಡೆಲ್ಗೆ ಮರಳಿ ಕಳುಹಿಸಬೇಕು.
ನೀವು SDK ಅನ್ನು ಬಳಸಿದರೆ, ಈ ಪ್ರಕ್ರಿಯೆಯು ಅಡಗಿದೆಯೇ ಇರುತ್ತದೆ. SDK ನಿಮ್ಮ ಪರವಾಗಿ ಈ ಸಂಕೀರ್ಣತೆಯನ್ನು ನಿರ್ವಹಿಸುತ್ತದೆ.
ನೀವು raw fetch ಬಳಸಿದರೆ, ನೀವು ಎಲ್ಲವನ್ನೂ ನೋಡಬಹುದು. ನೀವು headers, body ಮತ್ತು ಸಂದೇಶದ ಅರೇ ಅನ್ನು ನೀವೇ ನಿರ್ವಹಿಸಬೇಕಾಗುತ್ತದೆ.
ಸಂದರ್ಭವು (context) ಈ ರೀತಿ ಕೆಲಸ ಮಾಡುತ್ತದೆ:
• ನೀವು ಒಂದು ಸಂದೇಶವನ್ನು ಕಳುಹಿಸುತ್ತೀರಿ. • ಮಾಡೆಲ್ ಪ್ರತಿಕ್ರಿಯಿಸುತ್ತದೆ. • ನೀವು ಎರಡೂ ಸಂದೇಶಗಳನ್ನು ಒಂದು ಅರೇನಲ್ಲಿ ಉಳಿಸಿಕೊಳ್ಳುತ್ತೀರಿ. • ಮುಂದಿನ ಪ್ರಶ್ನೆಗಾಗಿ ನೀವು ಇಡೀ ಅರೇ ಅನ್ನು ಮರಳಿ ಕಳುಹಿಸುತ್ತೀರಿ.
ಪ್ರಸ್ತುತ ವಿನಂತಿಯಲ್ಲಿ (current request) ನೀವು ಏನನ್ನು ಕಳುಹಿಸುತ್ತೀರೋ ಅದನ್ನು ಮಾತ್ರ ಮಾಡೆಲ್ಗೆ ತಿಳಿದಿರುತ್ತದೆ. ಉಳಿದೆಲ್ಲವೂ ಅಳಿಸಿಹೋಗುತ್ತವೆ.
ಈ ಅರೇಯನ್ನು ಅರ್ಥಮಾಡಿಕೊಳ್ಳುವುದು AI ಅಭಿವೃದ್ಧಿಯ ಅಡಿಪಾಯವಾಗಿದೆ. ಇದು RAG, sliding windows ಮತ್ತು semantic search ನಂತಹ ಸುಧಾರಿತ ವಿಧಾನಗಳಿಗೆ ಆರಂಭಿಕ ಹಂತವಾಗಿದೆ.
ನೀವು ವಿಶ್ವಾಸಾರ್ಹ AI ಪರಿಕರಗಳನ್ನು ನಿರ್ಮಿಸಲು ಬಯಸಿದರೆ, abstractions ಮೇಲೆ ಅವಲಂಬಿತವಾಗುವುದನ್ನು ನಿಲ್ಲಿಸಿ. raw requests ಅನ್ನು ಗಮನಿಸಿ. ಇತಿಹಾಸವನ್ನು ನೀವೇ ನಿಯಂತ್ರಿಸಿ.
ಪೂರ್ಣ ಲೇಖನ: https://dev.to/marcochavezco/the-model-doesnt-remember-you-do-38jk