𝗖𝗵𝗮𝘁𝗚𝗣𝗧 𝟰 ಪ್ರಾಯೋಗಿಕವಾಗಿ

ನಾನು GPT-4 ಬಳಸಿ ಒಂದು SaaS ಸಂಸ್ಥೆಗಾಗಿ ಟಿಕೆಟ್ ಟ್ರಯಾಜ್ (ticket triage) ಬಾಟ್ ಅನ್ನು ನಿರ್ಮಿಸಿದೆ. ಈ ತಂತ್ರಜ್ಞಾನವು ನೈಜ ಜಗತ್ತಿನಲ್ಲಿ ಹೇಗೆ ಕೆಲಸ ಮಾಡುತ್ತದೆ ಎಂಬುದನ್ನು ಇದು ನನಗೆ ಕಲಿಸಿಕೊಟ್ಟಿತು.

ಇದು ಹೇಗೆ ಕೆಲಸ ಮಾಡುತ್ತದೆ: OpenAI ಈ ಮಾದರಿಗಳನ್ನು ಎರಡು ಹಂತಗಳಲ್ಲಿ ನಿರ್ಮಿಸುತ್ತದೆ. ಮೊದಲನೆಯದಾಗಿ, ಅವರು ಬೃಹತ್ ಪಠ್ಯ ಡೇಟಾ ಸೆಟ್‌ಗಳ ಮೇಲೆ ಮಾದರಿಯನ್ನು ಪ್ರಿ-ಟ್ರೈನ್ (pre-train) ಮಾಡುತ್ತಾರೆ. ಇದು ಮಾದರಿಗೆ ವ್ಯಾಕರಣ ಮತ್ತು ಸತ್ಯಾಂಶಗಳನ್ನು ಕಲಿಸುತ್ತದೆ. ಎರಡನೆಯದಾಗಿ, ಮನುಷ್ಯರು ಮಾದರಿಯನ್ನು ಫೈನ್-ಟ್ಯೂನ್ (fine-tune) ಮಾಡುತ್ತಾರೆ. ಇದು ಸೂಚನೆಗಳನ್ನು ಪಾಲಿಸಲು ಮತ್ತು ಸುರಕ್ಷಿತವಾಗಿರಲು ಮಾದರಿಗೆ ಕಲಿಸುತ್ತದೆ.

ನನ್ನ ಸೆಟಪ್:

  • ನಾನು Azure OpenAI ಎಂಡ್‌ಪಾಯಿಂಟ್ ಅನ್ನು ಬಳಸಿದೆ.
  • ನಾನು FastAPI ಅನ್ನು ಒಂದು ಲೇಯರ್ ಆಗಿ ಬಳಸಿದೆ.
  • ನಾನು ಪ್ರತಿ ವಿನಂತಿಗೆ (request) 2k ಟೋಕನ್ ಮಿತಿಯನ್ನು ನಿಗದಿಪಡಿಸಿದೆ.
  • ಪುನರಾವರ್ತಿತ ಪ್ರಶ್ನೆಗಳನ್ನು ಕ್ಯಾಶ್ (cache) ಮಾಡಲು ನಾನು Redis ಅನ್ನು ಬಳಸಿದೆ.

ಫಲಿತಾಂಶಗಳು: ಸಣ್ಣ ಸಂದೇಶಗಳಿಗೆ ಲೇಟೆನ್ಸಿ (Latency) ಸುಮಾರು 350ms ಇತ್ತು. ದೊಡ್ಡ ಸಂದೇಶಗಳಿಂದ ಇದು 1.2s ವರೆಗೆ ಏರಿತು. ಇದರಿಂದಾಗಿ ಹೆಚ್ಚಿನ ಲೋಡ್ ಇದ್ದಾಗ ಕೀವರ್ಡ್ ಕ್ಲಾಸಿಫೈಯರ್ (keyword classifier) ಬಳಸಲು ನಮಗೆ ಅನಿವಾರ್ಯವಾಯಿತು. ವೆಚ್ಚಗಳು ಹೆಚ್ಚಿದ್ದವು. ನಾವು ಒಂದು ಸಪೋರ್ಟ್ ಚಾನಲ್‌ಗಾಗಿ ತಿಂಗಳಿಗೆ $2,000 ಖರ್ಚು ಮಾಡಿದೆವು.

ಅಪಾಯಗಳು: ಮಾದರಿಯು ತಪ್ಪುಗಳನ್ನು ಮಾಡುತ್ತದೆ. ದೀರ್ಘ ಸಂಭಾಷಣೆಗಳಲ್ಲಿ ಇದು ಸಂದರ್ಭವನ್ನು (context) ಮರೆತುಬಿಡುತ್ತದೆ. ಇದು ಹೆಚ್ಚಿನ ಆತ್ಮವಿಶ್ವಾಸದೊಂದಿಗೆ ತಪ್ಪು ಸತ್ಯಾಂಶಗಳನ್ನು ಹೇಳಬಹುದು. ಇದನ್ನು ಹ್ಯಾಲ್ಯುಸಿನೇಷನ್ (hallucination) ಎಂದು ಕರೆಯಲಾಗುತ್ತದೆ.

ನಾನು ಇದನ್ನು ಹೇಗೆ ಸರಿಪಡಿಸಿದೆ: ನಾನು Pinecone vector store ಬಳಸಿ ಒಂದು ವ್ಯಾಲಿಡೇಶನ್ ಹಂತವನ್ನು ಸೇರಿಸಿದೆ.

  • ಮಾದರಿಯು ಒಂದು ಉತ್ತರವನ್ನು ಸೃಷ್ಟಿಸುತ್ತದೆ.
  • ನಾವು ಆ ಉತ್ತರವನ್ನು ಒಂದು ಕ್ಯುರೇಟೆಡ್ ನಲೆಜ್ ಬೇಸ್ (curated knowledge base) ಜೊತೆಗೆ ಪರಿಶೀಲಿಸುತ್ತೇವೆ.
  • ಸಿಮಿಲಾರಿಟಿ ಸ್ಕೋರ್ (similarity score) 0.78 ಕ್ಕಿಂತ ಕಡಿಮೆ ಇದ್ದರೆ, ಮನುಷ್ಯರು ಅದನ್ನು ಪರಿಶೀಲಿಸುತ್ತಾರೆ. ಈ ಫಿಲ್ಟರ್ 42% ತಪ್ಪು ಹೇಳಿಕೆಗಳನ್ನು ಪತ್ತೆಹಚ್ಚಿತು. ಇದು ಪ್ರತಿಕ್ರಿಯೆಯ ಸಮಯಕ್ಕೆ (response time) 120ms ಅನ್ನು ಹೆಚ್ಚಿಸಿತು.

ಮೇಲ್ವಿಚಾರಣೆ (Monitoring) ಅತ್ಯಗತ್ಯ: ಎರರ್ ರೇಟ್ (error rates) ಮತ್ತು ಟೋಕನ್ ಬಳಕೆಯನ್ನು ಟ್ರ್ಯಾಕ್ ಮಾಡಲು ನಾನು Prometheus ಮತ್ತು Grafana ಅನ್ನು ಬಳಸಿದೆ. ಹ್ಯಾಲ್ಯುಸಿನೇಷನ್‌ಗಳು ಟ್ರಾಫಿಕ್‌ನ 5% ಕ್ಕಿಂತ ಹೆಚ್ಚಾದರೆ PagerDuty ಅಲರ್ಟ್‌ಗಳು ಸಕ್ರಿಯಗೊಳ್ಳುವಂತೆ ನಾನು ಸೆಟ್ ಮಾಡಿದೆ. ಇದು ಹೆಚ್ಚಿನ ಹಾನಿಯಾಗುವ ಮೊದಲು ಕೆಟ್ಟ ಪ್ರಾಂಪ್ಟ್ ಟೆಂಪ್ಲೇಟ್ ಅನ್ನು ಸರಿಪಡಿಸಲು ನಮಗೆ ಸಹಾಯ ಮಾಡಿತು.

ಅಂತಿಮವಾಗಿ: GPT-4 ಎಂಬುದು ಮ್ಯಾಜಿಕ್ ಅಲ್ಲ. ಇದು ನೀವು ವೇಗವಾಗಿ ಕೆಲಸ ಮಾಡಲು ಸಹಾಯ ಮಾಡುವ ಒಂದು ಸಾಧನ. ಇದನ್ನು ಕೋಡಿಂಗ್, ಸಾರಾಂಶ ಮಾಡುವುದು ಮತ್ತು ಬರೆಯಲು ಬಳಸಿ. ಆದರೆ ನಿರ್ಣಾಯಕ ಸತ್ಯಾಂಶಗಳಿಗಾಗಿ ಅದನ್ನು ಸ್ವತಃ ಪರಿಶೀಲಿಸದೆ ನಂಬಬೇಡಿ.

Source: https://dev.to/lavkeshdwivedi/chatgpt-4-3hi6

Optional learning community: https://t.me/GyaanSetuAi