ನನ್ನ ಅಪ್ಲಿಕೇಶನ್‌ಗೆ AI ಚಾಟ್ ಅನ್ನು ಸೇರಿಸಲು ಪ್ರಯತ್ನಿಸಿದೆ ಮತ್ತು ಅಡೆತಡೆ ಎದುರಿಸಿದೆ

ನಾನು ನನ್ನ ಪ್ರಾಜೆಕ್ಟ್ ಮ್ಯಾನೇಜ್‌ಮೆಂಟ್ ಟೂಲ್‌ಗೆ (project management tool) ಒಂದು AI ಚಾಟ್ ಅಸಿಸ್ಟೆಂಟ್ ಅನ್ನು ಸೇರಿಸಲು ಪ್ರಯತ್ನಿಸಿದೆ. ಇದು ಸುಲಭ ಎಂದು ನಾನು ಭಾವಿಸಿದ್ದೆ. ಸಂಪೂರ್ಣ ಚಾಟ್ ಇತಿಹಾಸವನ್ನು (chat history) API ಗೆ ಕಳುಹಿಸಲು ನಾನು ಯೋಜಿಸಿದೆ.

ಅದು ವಿಫಲವಾಯಿತು.

15 ಸಂದೇಶಗಳ ನಂತರ, ಪ್ರತಿಕ್ರಿಯೆಗಳು ನಿಧಾನವಾದವು ಅಥವಾ ತಪ್ಪಾದವು. ಪಠ್ಯವು ಟೋಕನ್ ಮಿತಿಗಿಂತ (token limit) ಹೆಚ್ಚಾಗಿದ್ದರಿಂದ API ದೋಷಗಳನ್ನು (errors) ತೋರಿಸಿತು.

ನಾನು ಏನು ಪ್ರಯತ್ನಿಸಿದೆ ಮತ್ತು ಯಾವುದು ಕೆಲಸ ಮಾಡಿತು ಎಂಬುದು ಇಲ್ಲಿದೆ.

ನಾನು ಎದುರಿಸಿದ ಸಮಸ್ಯೆಗಳು:

  • ಇತಿಹಾಸವನ್ನು ಕತ್ತರಿಸುವುದು (Truncating history): ನಾನು ಕೇವಲ ಕೊನೆಯ ಕೆಲವು ಸಂದೇಶಗಳನ್ನು ಮಾತ್ರ ಇರಿಸಿಕೊಂಡೆ. ಇದು ವೇಗವನ್ನು ಸರಿಪಡಿಸಿತು ಆದರೆ AI ಚಾಟ್‌ನ ಆರಂಭದ ಎಲ್ಲವನ್ನೂ ಮರೆತುಹೋಯಿತು.
  • ಸಾರಾಂಶ (Summarization): ಪ್ರತಿ 5 ಸಂದೇಶಗಳಿಗೊಮ್ಮೆ ಚಾಟ್ ಅನ್ನು ಸಾರಾಂಶಗೊಳಿಸಲು ನಾನು AI ಗೆ ಕೇಳಿದೆ. ಇದು ನೆನಪಿನ ಶಕ್ತಿಗೆ ಸಹಾಯ ಮಾಡಿತು ಆದರೆ ನನ್ನ ವೆಚ್ಚ ಮತ್ತು ಕಾಯುವ ಸಮಯವನ್ನು ಹೆಚ್ಚಿಸಿತು.
  • ವೆಕ್ಟರ್ ಸ್ಟೋರ್ಸ್ (Vector stores): ಸಂದೇಶಗಳನ್ನು ಅವುಗಳ ಪ್ರಸ್ತುತತೆಯನ್ನು ಆಧರಿಸಿ ಸ್ಕೋರ್ ಮಾಡಲು ಪ್ರಯತ್ನಿಸಿದೆ. ಇದು ನನ್ನ ಅಗತ್ಯಗಳಿಗೆ ಅತಿಯಾದ ಸಂಕೀರ್ಣತೆಯನ್ನು ಸೇರಿಸಿತು.

ಪರಿಹಾರ:

ನಾನು ಎಲ್ಲವನ್ನೂ ಕಳುಹಿಸಲು ಪ್ರಯತ್ನಿಸುವುದನ್ನು ನಿಲ್ಲಿಸಿದೆ. ಅನುಭವವನ್ನು ಸುಧಾರಿಸಲು ನಾನು ಎರಡು ಮುಖ್ಯ ವಿಧಾನಗಳನ್ನು ಬಳಸಿದೆ.

  1. ಸ್ಟ್ರೀಮಿಂಗ್ (Streaming): ಪಠ್ಯವು ಜನ生成的ಂತೆ ತೋರಿಸಲು ನಾನು Server-Sent Events ಅನ್ನು ಬಳಸಿದೆ. ಇದರಿಂದ AI ಯೋಚಿಸಲು ಸಮಯ ತೆಗೆದುಕೊಳ್ಳುವಾಗಲೂ ಅಪ್ಲಿಕೇಶನ್ ವೇಗವಾಗಿರುವಂತೆ ಭಾಸವಾಗುತ್ತದೆ.

  2. ಮೂರು-ಸ್ಲಾಟ್ ಕಾನ್ಟೆಕ್ಸ್ಟ್ ವಿಂಡೋ (A Three-Slot Context Window): ನಾನು ನನ್ನ ಟೋಕನ್ ಬಜೆಟ್ ಅನ್ನು ನಿರ್ದಿಷ್ಟ ಭಾಗಗಳಾಗಿ ವಿಂಗಡಿಸಿದೆ.

  • ಸಿಸ್ಟಮ್ ಪ್ರಾಂಪ್ಟ್ (System Prompt): 500 ಟೋಕನ್‌ಗಳು. ಇದು ಬದಲಾಗದೆ ಇರುತ್ತದೆ.
  • ಡೈನಾಮಿಕ್ ಕಾನ್ಟೆಕ್ಸ್ಟ್ (Dynamic Context): 2000 ಟೋಕನ್‌ಗಳು. ಇದು ಇತ್ತೀಚಿನ ಪ್ರಾಜೆಕ್ಟ್ ಅಪ್‌ಡೇಟ್‌ಗಳು ಮತ್ತು ಕಾರ್ಯಗಳ ಸ್ಥಿತಿಯನ್ನು (task states) ಹೊಂದಿರುತ್ತದೆ.
  • ಸಂಭಾಷಣೆಯ ಇತಿಹಾಸ (Conversation History): 4000 ಟೋಕನ್‌ಗಳು. ಇದು ಇತ್ತೀಚಿನ ಸಂದೇಶಗಳ ಸ್ಲೈಡಿಂಗ್ ವಿಂಡೋ ಆಗಿದೆ.

ಬಜೆಟ್ ಅನ್ನು ಈ ರೀತಿಯಲ್ಲಿ ನಿರ್ವಹಿಸುವ ಮೂಲಕ, ನಾನು ನನ್ನ ಪೇಲೋಡ್ ಗಾತ್ರವನ್ನು (payload size) 40% ಕಡಿಮೆ ಮಾಡಿದೆ. ಇದು ಹಣವನ್ನು ಉಳಿಸಿತು ಮತ್ತು ವಿಳಂಬವನ್ನು (latency) ಕಡಿಮೆ ಮಾಡಿತು.

ನನ್ನ ಸಲಹೆ:

AI ಅನ್ನು ಸೇರಿಸುವುದು ಕೇವಲ API ಅನ್ನು ಕರೆಯುವುದಲ್ಲ. ನೀವು ಎಷ್ಟು ಡೇಟಾವನ್ನು ಕಳುಹಿಸುತ್ತೀರಿ ಎಂಬುದನ್ನು ನಿರ್ವಹಿಸಬೇಕು. ಸ್ಟ್ರೀಮಿಂಗ್ ಬಳಕೆದಾರರಿಗೆ ವೇಗದ ಅನುಭವವನ್ನು ನೀಡುತ್ತದೆ. ಸ್ಮಾರ್ಟ್ ಕಾನ್ಟೆಕ್ಸ್ಟ್ ಸ್ಟ್ರಾಟಜಿ AI ಎಷ್ಟು ಬುದ್ಧಿವಂತವಾಗಿದೆ ಎಂಬ ಅನುಭವವನ್ನು ನೀಡುತ್ತದೆ.

ನಿಮ್ಮ ಅಪ್ಲಿಕೇಶನ್‌ಗಳಲ್ಲಿ ಸಂಭಾಷಣೆಯ ನೆನಪನ್ನು (conversation memory) ನೀವು ಹೇಗೆ ನಿರ್ವಹಿಸುತ್ತೀರಿ? ನೀವು ಸ್ಲೈಡಿಂಗ್ ವಿಂಡೋಗಳನ್ನು ಬಳಸುತ್ತೀರಾ ಅಥವಾ ಸಾರಾಂಶವನ್ನು ಬಳಸುತ್ತೀರಾ?

ಮೂಲ: https://dev.to/__c1b9e06dc90a7e0a676b/i-tried-to-add-ai-chat-to-my-app-and-hit-a-wall-with-context-tokens-459b

ಐಚ್ಛಿಕ ಕಲಿಕಾ ಸಮುದಾಯ: https://t.me/GyaanSetuAi