ಓಪನ್-ಸೋರ್ಸ್ ಮಾಡೆಲ್ APIಗಳು ಬಹಳ ವಿರಳವಾಗಿ ಸ್ಥಿರವಾಗಿರುತ್ತವೆ. Novita ಮತ್ತು StreamLake ಎರಡೂ Large Language Models ಬಳಸಲು ವಿಧಿಸುವ ಶುಲ್ಕವನ್ನು ಹೊಂದಾಣಿಕೆ ಮಾಡಿವೆ, ಮತ್ತು ನೀವು ಈ ಎರಡೂ ಪ್ಲಾಟ್‌ಫಾರ್ಮ್‌ಗಳ ಮೂಲಕ ಪ್ರೊಡಕ್ಷನ್ ಟ್ರಾಫಿಕ್ ಅನ್ನು ರನ್ ಮಾಡುತ್ತಿದ್ದರೆ, ನೀವು ಈಗಲೇ ಹೊಸ ಅಂಕಿಅಂಶಗಳನ್ನು ಪರಿಶೀಲಿಸಬೇಕಾಗುತ್ತದೆ. ಟೋಕನ್ ಅರ್ಥಶಾಸ್ತ್ರವು (Token economics) ಒಂದು AI ಫೀಚರ್ ಲಾಭದಾಯಕವಾಗಿದೆಯೇ ಅಥವಾ ಹಣ ಸೋರುವ ನಲ್ಲಿಯಂತೆ ಆಗಿದೆಯೇ ಎಂಬುದನ್ನು ನಿರ್ಧರಿಸುತ್ತದೆ. ಪ್ರತಿ ಮಿಲಿಯನ್ ಟೋಕನ್‌ಗೆ ನಿಗದಿಪಡಿಸಿದ ದರವು ಬದಲಾದಾಗ, ನಿಮ್ಮ ಮಾಸಿಕ ಕ್ಲೌಡ್ ವೆಚ್ಚವೂ ಅದರೊಂದಿಗೆ ಬದಲಾಗುತ್ತದೆ.

LLM ಬೆಲೆಗಳು ನಿರಂತರವಾಗಿ ಏಕೆ ಬದಲಾಗುತ್ತವೆ

ವಾರ್ಷಿಕ ಒಪ್ಪಂದಗಳಿರುವ ಸಾಂಪ್ರದಾಯಿಕ ಸಾಫ್ಟ್‌ವೇರ್ ಲೈಸೆನ್ಸ್‌ಗಳಿಗಿಂತ ಭಿನ್ನವಾಗಿ, ಹೆಚ್ಚಿನ LLM ಇನ್ಫರೆನ್ಸ್ (inference) ಅನ್ನು ಯುಟಿಲಿಟಿ (utility) ರೀತಿ ಬಿಲ್ ಮಾಡಲಾಗುತ್ತದೆ. ನೀವು ಬಳಸಿದಷ್ಟನ್ನು ಮಾತ್ರ ಪಾವತಿಸುತ್ತೀರಿ, ಇದನ್ನು ಸಾಮಾನ್ಯವಾಗಿ ಟೋಕನ್‌ಗಳಲ್ಲಿ ಅಳೆಯಲಾಗುತ್ತದೆ. ಪ್ರೊವೈಡರ್‌ನ ರೇಟ್ ಕಾರ್ಡ್ (rate card) ಎಂಬುದು ನಿರಂತರವಾಗಿ ಬದಲಾಗುವ ದಾಖಲೆಯಾಗಿದೆ. ಅಡಿಪಾಯದ GPU ಕ್ಲಸ್ಟರ್‌ಗಳು ಅಗ್ಗವಾದಾಗ, ಹೊಸ ಮಾಡೆಲ್ ತೂಕಗಳು (model weights) ಹಳೆಯವುಗಳ ಬದಲಿಗೆ ಬಂದಾಗ, ಅಥವಾ ಒಂದು ಪ್ಲಾಟ್‌ಫಾರ್ಮ್ ತನ್ನ ಲಾಭದ ಮಾರ್ಜಿನಿನ ಮೇಲೆ ಸ್ಪರ್ಧಿಸಲು ನಿರ್ಧರಿಸಿದಾಗ ಇದು ಬದಲಾಗುತ್ತದೆ.

ನೀವು ಪ್ರೊಟೊಟೈಪಿಂಗ್ (prototyping) ಮಾಡುವಾಗ ಈ ಅಸ್ಥಿರತೆಯನ್ನು ನಿರ್ಲಕ್ಷಿಸುವುದು ಸುಲಭ. ದಿನಕ್ಕೆ ಕೆಲವು ಸಾವಿರ ಟೋಕನ್‌ಗಳನ್ನು ಬಳಸುವ ಸೈಡ್ ಪ್ರಾಜೆಕ್ಟ್‌ಗೆ ಶೇಕಡಾ ಇಪ್ಪತ್ತು ಬೆಲೆ ಹೊಂದಾಣಿಕೆಯು ಗಮನಕ್ಕೆ ಬರುವುದಿಲ್ಲ. ಆದರೆ ಪ್ರೊಡಕ್ಷನ್ ವರ್ಕ್‌ಲೋಡ್‌ಗಳು (Production workloads) ವಿಭಿನ್ನವಾಗಿರುತ್ತವೆ. ಗ್ರಾಹಕರಿಗೆ ಮುಖಾಮುಖಿಯಾಗಿರುವ ಚಾಟ್‌ಬಾಟ್, ಡಾಕ್ಯುಮೆಂಟ್ ಪಾರ್ಸರ್ ಅಥವಾ ಕೋಡ್-ಜನರೇಷನ್ ಪೈಪ್‌ಲೈನ್ ಪ್ರತಿ ತಿಂಗಳು ಸುಲಭವಾಗಿ ನೂರಾರು ಮಿಲಿಯನ್ ಟೋಕನ್‌ಗಳನ್ನು ಬಳಸಬಹುದು. ಅಂತಹ ದೊಡ್ಡ ಪ್ರಮಾಣದಲ್ಲಿ, ಪ್ರತಿ ಟೋಕನ್ ಬೆಲೆಯಲ್ಲಿನ ಸಣ್ಣ ಬದಲಾವಣೆಯೂ ನಿಮ್ಮ ಇನ್ಫ್ರಾಸ್ಟ್ರಕ್ಚರ್ ಬಜೆಟ್ ಅನ್ನು ಸಂಪೂರ್ಣವಾಗಿ ಬದಲಾಯಿಸುತ್ತದೆ.

Novita ಮತ್ತು StreamLake ಎರಡೂ ಈ ಹೆಚ್ಚಿನ ಬದಲಾವಣೆಗಳಿರುವ ಬೆಲೆ ಪರಿಸರದಲ್ಲಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತಿವೆ. ಅವು ಕೇವಲ ಒಂದೇ ಮಾಡೆಲ್ ಅನ್ನು ಮರುಮಾರಾಟ ಮಾಡುತ್ತಿಲ್ಲ; ಅವು ಒಂದೇ ಸೂರಿನಡಿ ವಿವಿಧ ಓಪನ್-ವೇಟ್ (open-weight) ಮತ್ತು ಪ್ರೊಪ್ರೈಟರಿ ಎಂಡ್‌ಪಾಯಿಂಟ್‌ಗಳನ್ನು (endpoints) ಹೋಸ್ಟ್ ಮಾಡುತ್ತವೆ. ಅವು ತಮ್ಮ ಟ್ಯಾರಿಫ್‌ಗಳನ್ನು ಅಪ್‌ಡೇಟ್ ಮಾಡಿದಾಗ, ಅದರ ಪರಿಣಾಮ ನೀವು ಅವುಗಳ APIಗಳ ಮೂಲಕ ಇಂಟಿಗ್ರೇಟ್ ಮಾಡಿರುವ ಪ್ರತಿಯೊಂದು ಮಾಡೆಲ್ ಮೇಲೆ ಬೀರುತ್ತದೆ.

Novita ಮತ್ತು StreamLake ಏನು ಮಾಡುತ್ತವೆ

ಎರಡೂ ಪ್ಲಾಟ್‌ಫಾರ್ಮ್‌ಗಳು ಇನ್ಫರೆನ್ಸ್ ಪ್ರೊವೈಡರ್‌ಗಳು ಅಥವಾ API ಗೇಟ್‌ವೇಗಳಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತವೆ. Llama, Mistral, Qwen ಅಥವಾ ಇತರ ಮಾಡೆಲ್‌ಗಳನ್ನು ನಿಮ್ಮ ಸ್ವಂತ GPUಗಳ ಮೇಲೆ ಹೋಸ್ಟ್ ಮಾಡುವ ಬದಲು, ನೀವು ಅವುಗಳ ಎಂಡ್‌ಪಾಯಿಂಟ್‌ಗಳಿಗೆ ವಿನಂತಿಗಳನ್ನು (requests) ಕಳುಹಿಸುತ್ತೀರಿ. ನೀವು ಪ್ರಮಾಣೀಕೃತ ಅಥೆಂಟಿಕೇಶನ್ (authentication), ಲೋಡ್ ಬ್ಯಾಲೆನ್ಸಿಂಗ್ ಮತ್ತು ಕೆಲವೊಮ್ಮೆ ಹಲವಾರು ಮಾಡೆಲ್ ಕುಟುಂಬಗಳಾದ್ಯಂತ ಏಕೀಕೃತ ಫಾರ್ಮ್ಯಾಟಿಂಗ್ ಅನ್ನು ಪಡೆಯುತ್ತೀರಿ. ಇದರ ಬದಲಾಗಿ, ನೀವು ಕಚ್ಚಾ ಕಂಪ್ಯೂಟ್ ವೆಚ್ಚಗಳಿಗಿಂತ ಹೆಚ್ಚಾಗಿ ಪ್ಲಾಟ್‌ಫಾರ್ಮ್‌ನ ಮಾರ್ಕ್-ಅಪ್ ಮಾಡಿದ ದರವನ್ನು ಪಾವತಿಸುತ್ತೀರಿ.

ಅವುಗಳ ಬೆಲೆ ಪುಟಗಳು ಇನ್‌ಪುಟ್ ಟೋಕನ್‌ಗಳಿಗಾಗಿ (ಪ್ರಾಂಪ್ಟ್) ಮತ್ತು ಔಟ್‌ಪುಟ್ ಟೋಕನ್‌ಗಳಿಗಾಗಿ (ಕಂಪ್ಲೀಷನ್) ಪ್ರತ್ಯೇಕ ದರಗಳನ್ನು ಪಟ್ಟಿ ಮಾಡುತ್ತವೆ. ಕೆಲವು ಮಾಡೆಲ್‌ಗಳು ದೊಡ್ಡ ಕಾಂಟೆಕ್ಸ್ಟ್ ವಿಂಡೋಗಳು ಅಥವಾ ವಿಶೇಷ ವಿಧಗಳಿಗಾಗಿ ಪ್ರೀಮಿಯಂ ಸರ್ಚಾರ್ಜ್‌ಗಳನ್ನು ಸಹ ಹೊಂದಿರಬಹುದು. ಅವು ಅನೇಕ ಮಾಡೆಲ್‌ಗಳನ್ನು ಒಟ್ಟುಗೂಡಿಸಿರುವುದರಿಂದ, Novita ಅಥವಾ StreamLake ಇಂದನ ಒಂದು ಬೆಲೆ ಅಪ್‌ಡೇಟ್ ಏಕಕಾಲದಲ್ಲಿ ಹಲವಾರು ಎಂಡ್‌ಪಾಯಿಂಟ್‌ಗಳ ಮೇಲೆ ಪರಿಣಾಮ ಬೀರಬಹುದು. ನೀವು ಕಳೆದ ತ್ರೈಮಾಸಿಕದಲ್ಲಿ ಆಯ್ಕೆ ಮಾಡಿದ ಅಗ್ಗದ ಸಮ್ಮರೀಸೇಶನ್ ಮಾಡೆಲ್, ಈಗ ಅದೇ ಪ್ಲಾಟ್‌ಫಾರ್ಮ್‌ನಲ್ಲಿರುವ ದೊಡ್ಡ ಪರ್ಯಾಯ ಮಾಡೆಲ್‌ನಿಗಿಂತ ಹೆಚ್ಚು ದುಬಾರಿಯಾಗಿದೆ ಎಂಬುದನ್ನು ಕಂಡು ನೀವು ಆಶ್ಚರ್ಯಚಕಿತರಾಗಬಹುದು.

ಇತ್ತೀಚಿನ ಬದಲಾವಣೆಗಳು ನಿಮ್ಮ ಬಿಲ್ ಮೇಲೆ ಹೇಗೆ ಪರಿಣಾಮ ಬೀರುತ್ತವೆ

Novita ಮತ್ತು StreamLake ಇತ್ತೀಚಿನ ಅಪ್‌ಡೇಟ್‌ಗಳು ಹಲವಾರು ಮಾಡೆಲ್‌ಗಳ ರೇಟ್ ಕಾರ್ಡ್‌ಗಳನ್ನು ಬದಲಾಯಿಸುತ್ತವೆ. ನೀವು ನಿಮ್ಮ ಪ್ರಸ್ತುತ ಇಂಟಿಗ್ರೇಷನ್‌ಗಳನ್ನು ಆಡಿಟ್ ಮಾಡದಿದ್ದರೆ, ನೀವು ಅರಿವಿಲ್ಲದೆಯೇ ಹೊಸ ನಿಯಮಗಳಿಗೆ ಒಪ್ಪಿಕೊಳ್ಳುತ್ತಿದ್ದೀರಿ ಎಂದರ್ಥ. ಬೆಲೆ ಬದಲಾವಣೆಗಳು ನೀವು Large Language Models ಗಾಗಿ ಪಾವತಿಸುವ ರೀತಿಯ ಮೇಲೆ ನೇರ ಮತ್ತು ಅಳೆಯಬಹುದಾದ ರೀತಿಯಲ್ಲಿ ಪರಿಣಾಮ ಬೀರುತ್ತವೆ:

  • ಪ್ರತಿ-ಟೋಕನ್ ದರಗಳು: ಇನ್‌ಪುಟ್ ಮತ್ತು ಔಟ್‌ಪುಟ್ ವೆಚ್ಚಗಳು ವಿಭಿನ್ನವಾಗಿರಬಹುದು. ಪಠ್ಯವನ್ನು ಓದುವುದಕ್ಕಿಂತ ಪಠ್ಯವನ್ನು ಸೃಷ್ಟಿಸಲು (generating) ಹೆಚ್ಚಿನ ಕಂಪ್ಯೂಟ್ ಅಗತ್ಯವಿರುವುದರಿಂದ, ಔಟ್‌ಪುಟ್ ಟೋಕನ್‌ಗಳು ಸಾಮಾನ್ಯವಾಗಿ ಹೆಚ್ಚು ದುಬಾರಿಯಾಗಿರುತ್ತವೆ. ಪ್ರೊವೈಡರ್ ಔಟ್‌ಪುಟ್ ಬೆಲೆಯನ್ನು ಅಸಮಾನವಾಗಿ ಹೆಚ್ಚಿಸಿದ್ದರೆ, ಹೆಚ್ಚು ವಿವರವಾದ ಉತ್ತರ ನೀಡುವ (verbose) ಯಾವುದೇ ಅಪ್ಲಿಕೇಶನ್‌ನ ವೆಚ್ಚವು ಏರಿಕೆಯಾಗುತ್ತದೆ.
  • ಮಾಡೆಲ್-ನಿರ್ದಿಷ್ಟ ಹೊಂದಾಣಿಕೆಗಳು: ಪ್ರತಿಯೊಂದು ಎಂಡ್‌ಪಾಯಿಂಟ್ ಒಂದೇ ರೀತಿಯಲ್ಲಿ ಬದಲಾಗುವುದಿಲ್ಲ. ಒಂದು ಜನಪ್ರಿಯ ಮಾಡೆಲ್ ಅಗ್ಗವಾಗಬಹುದು, ಆದರೆ ಒಂದು ನಿಶ್ಚಿತ (niche) ವಿಧವು ಹೆಚ್ಚು ದುಬಾರಿಯಾಗಬಹುದು. ಚಾರ್ಟ್ ಅನ್ನು ಪರಿಶೀಲಿಸದೆ, ನೀವು ನಿಮ್ಮ ಬಜೆಟ್‌ಗೆ ತಕ್ಕುದಲ್ಲದ ಎಂಡ್‌ಪಾಯಿಂಟ್ ಮೂಲಕ ಟ್ರಾಫಿಕ್ ಅನ್ನು ರನ್ ಮಾಡುತ್ತಿರಬಹುದು.
  • ಹಂತದ ಅಥವಾ ಪ್ರಮಾಣದ ರಿಯಾಯಿತಿಗಳು: ಕೆಲವು ಪ್ರೊವೈಡರ್‌ಗಳು ಬಲ್ಕ್ ಡಿಸ್ಕೌಂಟ್‌ಗಳು ಅನ್ವಯವಾಗುವ ಮಿತಿಯನ್ನು (thresholds) ಹೊಂದಾಣಿಕೆ ಮಾಡುತ್ತಾರೆ. ನೀವು ಇತ್ತೀಚೆಗೆ ಹೆಚ್ಚಿನ ಪ್ರಮಾಣದ ಬಳಕೆಗೆ ಮಿತಿ ದಾಟಿದ್ದರೆ, ಹೊಸ ಬೆಲೆಯು ನಿಮಗೆ ಸಹಾಯ ಮಾಡಬಹುದು ಅಥವಾ ನೀವು ನಂಬಿದ್ದ ರಿಯಾಯಿತಿಯನ್ನು ತೆಗೆದುಹಾಕಬಹುದು.

ನೀವು ಬಳಸಿದಷ್ಟನ್ನು ಪಾವತಿಸುವುದರಿಂದ, ವೆಚ್ಚವನ್ನು ನಿಯಂತ್ರಿಸಲು ಇರುವ ಏಕೈಕ ಮಾರ್ಗವೆಂದರೆ ನಿಮ್ಮ ವರ್ಕ್‌ಲೋಡ್ ಅನ್ನು ಪ್ರಸ್ತುತ ಬೆಲೆ ರಚನೆಗೆ ಅನುಗುಣವಾಗಿ ಹೊಂದಿಸುವುದು. ಹಳೆಯ ರೇಟ್ ಕಾರ್ಡ್ ಈಗ ಕೇವಲ ಐತಿಹಾಸಿಕ ಡೇಟಾ ಮಾತ್ರ.

ಡೆವಲಪರ್‌ಗಳಿಗಾಗಿ ಒಂದು ಪ್ರಾಯೋಗಿಕ ಆಡಿಟ್

ನೀವು ಇತ್ತೀಚೆಗೆ ನಿಮ್ಮ ಇನ್ಫರೆನ್ಸ್ ವೆಚ್ಚವನ್ನು ಪರಿಶೀಲಿಸದಿದ್ದರೆ, ಈಗ ಸರಿಯಾದ ಸಮಯ. ಹಾನಿಯನ್ನು ಅಳೆಯಲು ಮತ್ತು ವೆಚ್ಚದ ಸೋರಿಕೆಯನ್ನು ಸರಿಪಡಿಸಲು ಇಲ್ಲಿದೆ ಒಂದು ಸರಳ ಮಾರ್ಗ.

1. ನಿಮ್ಮ ಬಳಕೆಯ ಲಾಗ್‌ಗಳನ್ನು (usage logs) ಪಡೆಯಿರಿ. ಕಳೆದ ಮೂವತ್ತು ದಿನಗಳನ್ನು ನೋಡಿ. ಇನ್‌ಪುಟ್ ಟೋಕನ್‌ಗಳನ್ನು ಔಟ್‌ಪುಟ್ ಟೋಕನ್‌ಗಳಿಂದ ಪ್ರತ್ಯೇಕಿಸಿ ಮತ್ತು ಅವುಗಳನ್ನು ಮಾಡೆಲ್ ಆಧಾರದ ಮೇಲೆ ವಿಂಗಡಿಸಿ. Novita ಮತ್ತು StreamLake ನ ಹೆಚ್ಚಿನ ಡ್ಯಾಶ್‌ಬೋರ್ಡ್‌ಗಳು ಇದನ್ನು ತೋರಿಸುತ್ತವೆ, ಅಥವಾ ನೀವು ನಿಮ್ಮ ಸ್ವಂತ ರಿಕ್ವೆಸ್ಟ್ ಲಾಗ್‌ಗಳಿಂದ ಇದನ್ನು ವಿಶ್ಲೇಷಿಸಬಹುದು.

2. ಹೊಸ ಬೆಲೆಯನ್ನು ಅನ್ವಯಿಸಿ. ನಿಮ್ಮ ಟೋಕನ್ ಸಂಖ್ಯೆಗಳನ್ನು ತೆಗೆದುಕೊಳ್ಳಿ ಮತ್ತು ಅವುಗಳನ್ನು ಅಪ್‌ಡೇಟ್ ಮಾಡಿದ ದರಗಳಿಂದ ಗುಣಿಸಿ. ಆ ಅಂಕಿಅಂಶವನ್ನು ಕಳೆದ ತಿಂಗಳು ಹಳೆಯ ಬೆಲೆಯ ಅಡಿಯಲ್ಲಿ ನೀವು ಪಾವತಿಸಿದ ಮೊತ್ತಕ್ಕೆ ಹೋಲಿಸಿ. ಆ ವ್ಯತ್ಯಾಸವೇ (delta) ನಿಮ್ಮ ಹೊಸ ಮಾಸಿಕ ವೆಚ್ಚದ ದರವಾಗಿದೆ.

3. ಮಾದರಿಗಳ ಬದಲಾವಣೆಯನ್ನು (model swaps) ಮೌಲ್ಯಮಾಪನ ಮಾಡಿ. ನೀವು ಬಳಸುವ ಮಾದರಿಯು ಗಮನಾರ್ಹವಾಗಿ ದುಬಾರಿಯಾದರೆ, ಅದೇ ಪ್ಲಾಟ್‌ಫಾರ್ಮ್‌ನಲ್ಲಿರುವ ಅಗ್ಗದ ಪರ್ಯಾಯವು ನಿಮ್ಮ ಗುಣಮಟ್ಟದ ಮಾನದಂಡವನ್ನು ಪೂರೈಸುತ್ತದೆಯೇ ಎಂದು ಪರಿಶೀಲಿಸಿ. ಸಣ್ಣ ಪ್ಯಾರಾಮೀಟರ್ ಮಾದರಿ ಅಥವಾ ಕ್ವಾಂಟೈಸ್ಡ್ ವರ್ಷನ್ (quantized version) ಅನ್ನು A/B ಟೆಸ್ಟ್ ಮಾಡಿ. ಕೆಲವು ಸಂದರ್ಭಗಳಲ್ಲಿ, ದಿನನಿತ್ಯದ ಕೆಲಸಗಳಿಗೆ ನಿಖರತೆಯ ಕುಸಿತವು ಅತ್ಯಲ್ಪವಾಗಿರುತ್ತದೆ.

4. ನಿಮ್ಮ ಪ್ರಾಂಪ್ಟ್‌ಗಳನ್ನು ಸಂಕುಚಿತಗೊಳಿಸಿ (Compress). ಸಿಸ್ಟಮ್ ಪ್ರಾಂಪ್ಟ್‌ಗಳು ಫ್ಯೂ-ಶಾಟ್ ಉದಾಹರಣೆಗಳು (few-shot examples) ಅಥವಾ ದೀರ್ಘ ದಾಖಲೆಗಳಿಂದ ತುಂಬಿದಾಗ ಇನ್‌ಪುಟ್ ವೆಚ್ಚಗಳು ಹೆಚ್ಚಾಗುತ್ತವೆ. ಇಂಜೆಕ್ಷನ್ ಮಾಡುವ ಮೊದಲು ಸಂದರ್ಭವನ್ನು (context) ಸಂಕ್ಷಿಪ್ತಗೊಳಿಸಲು ಪ್ರಯತ್ನಿಸಿ, max_token ಮಿತಿಗಳನ್ನು ಕಡಿಮೆ ಮಾಡಿ ಅಥವಾ ವರ್ಕಿಂಗ್ ವಿಂಡೋವನ್ನು ಸಣ್ಣದಾಗಿಸಲು ರಿಟ್ರಿವಲ್ (retrieval) ಬಳಸಿ. ಇನ್‌ಪುಟ್ ಕಡೆಯಿಂದ ನೀವು ಉಳಿಸುವ ಪ್ರತಿಯೊಂದು ಟೋಕನ್ ಕೂಡ ಹೊಸ ದರದಲ್ಲಿ ಉಳಿತಾಯವಾಗುತ್ತದೆ.

5. ಬಜೆಟ್ ಅಲರ್ಟ್‌ಗಳನ್ನು ಹೊಂದಿಸಿ. ಹೆಚ್ಚಿನ ಪ್ಲಾಟ್‌ಫಾರ್ಮ್‌ಗಳು ದೈನಂದಿನ ಬಳಕೆ ಒಂದು ಮಿತಿಯನ್ನು ಮೀರಿದಾಗ ವೆಚ್ಚದ ಮಿತಿಗಳು (spending caps) ಅಥವಾ ವೆಬ್‌ಹುಕ್ ಅಲರ್ಟ್‌ಗಳನ್ನು ಕಾನ್ಫಿಗರ್ ಮಾಡಲು ಅವಕಾಶ ನೀಡುತ್ತವೆ. ನೀವು ಇವುಗಳನ್ನು ಆನ್ ಮಾಡದಿದ್ದರೆ, ಬಿಲ್ಲಿಂಗ್ ಚಕ್ರದ ಮಧ್ಯಭಾಗದಲ್ಲಿ ಬೆಲೆ ಬದಲಾವಣೆಯು ನಿಮಗೆ ಆಘಾತ ನೀಡಬಹುದು.

ದರ ಪಟ್ಟಿಗಳ (Rate Cards) ಸೂಕ್ಷ್ಮ ವಿವರಗಳನ್ನು ಓದಿ

ನೀವು ನವೀಕರಿಸಿದ ಬೆಲೆಗಳನ್ನು ಪರಿಶೀಲಿಸುವಾಗ, ಕೇವಲ ಪ್ರತಿ ಮಿಲಿಯನ್ ಟೋಕನ್‌ಗೆ ಇರುವ ಮುಖ್ಯ ದರವನ್ನು ಮಾತ್ರ ನೋಡಬೇಡಿ. ಪ್ರೊವೈಡರ್‌ಗಳು ಹೆಚ್ಚಾಗಿ ದಾಖಲೆಗಳಲ್ಲಿ ಸೂಕ್ಷ್ಮ ವಿವರಗಳನ್ನು ಅಡಗಿಸಿಡುತ್ತಾರೆ.

ಕಾಂಟೆಕ್ಸ್ಟ್ ಕ್ಯಾಷಿಂಗ್ (context caching) ಲಭ್ಯವಿದೆಯೇ ಎಂದು ಪರಿಶೀಲಿಸಿ. ಕೆಲವು ಪ್ಲಾಟ್‌ಫಾರ್ಮ್‌ಗಳು ದೀರ್ಘ ದಾಖಲೆಯನ್ನು ಕ್ಯಾಶ್ ಮಾಡಲು ನಿಗದಿತ ಶುಲ್ಕವನ್ನು ವಿಧಿಸುತ್ತವೆ, ನಂತರ ಮುಂದಿನ ಕರೆಗಳ ಮೇಲೆ ಪ್ರತಿ-ಕೋರೆಸ್ಟ್ (per-request) ವೆಚ್ಚವನ್ನು ಕಡಿಮೆ ಮಾಡುತ್ತವೆ. ನಿಮ್ಮ ಅಪ್ಲಿಕೇಶನ್ ಪ್ರತಿ ಬಾರಿಯೂ ಒಂದೇ ಹಿನ್ನೆಲೆ ಸಂದರ್ಭವನ್ನು (background context) ಮರುಪಠಿಸುತ್ತದೆ ಎಂದಾದರೆ, ಕ್ಯಾಷಿಂಗ್ ಬೆಲೆ ಏರಿಕೆಯನ್ನು ತಡೆಯಬಹುದು.

ಹಣದ ವೆಚ್ಚವನ್ನು ಹೆಚ್ಚಿಸುವ ರೇಟ್ ಲಿಮಿಟಿಂಗ್ (rate limiting) ಬಗ್ಗೆ ಎಚ್ಚರವಿರಲಿ. ಹೊಸ ಬೆಲೆ ಪದ್ಧತಿಯು ನಿಮ್ಮನ್ನು ಹೆಚ್ಚಿನ ಥ್ರೂಪುಟ್ ಟಿಯರ್ (higher throughput tier) ಕಡೆಗೆ ತಳ್ಳಿದರೆ, ನೀವು ಸಾಮರ್ಥ್ಯವನ್ನು ಕಾಯ್ದಿರಿಸಬೇಕಾಗಬಹುದು ಅಥವಾ ಕನಿಷ್ಠ ಬದ್ಧತೆಗಳಿಗೆ (minimum commitments) ಪಾವತಿಸಬೇಕಾಗಬಹುದು. ಅಲ್ಲದೆ, API ಟೋಕನ್‌ಗಳು ಜನರೇಟ್ ಆದ ಆಧಾರದ ಮೇಲೆ ಬಿಲ್ ಆಗುತ್ತವೆಯೇ ಅಥವಾ ವಿನಂತಿಸಿದ (requested) ಟೋಕನ್‌ಗಳ ಆಧಾರದೆಯೇ ಎಂದು ಖಚಿತಪಡಿಸಿಕೊಳ್ಳಿ. ಪ್ರತಿಕ್ರಿಯೆಯು ಅರ್ಧಕ್ಕೆ ನಿಂತರೂ ಸಹ, ಗರಿಷ್ಠ ಉದ್ದದ ಮಿತಿಯನ್ನು ತಲುಪುವ ವಿನಂತಿಗೆ ನೀವು ಶುಲ್ಕ ಪಾವತಿಸಬೇಕಾಗುತ್ತದೆ.

ನೀವು Novita ಅಥವಾ StreamLake ಮೂಲಕ fine-tuned ಅಥವಾ ಖಾಸಗಿ ಎಂಡ್‌ಪಾಯಿಂಟ್‌ಗಳನ್ನು ಬಳಸುತ್ತಿದ್ದರೆ, ಅವುಗಳ ಇನ್ಫರೆನ್ಸ್ ಶುಲ್ಕದೊಂದಿಗೆ ಹೋಸ್ಟಿಂಗ್ ಶುಲ್ಕಗಳು ಕೂಡ ಬದಲಾಗಿವೆಯೇ ಎಂದು ಪರಿಶೀಲಿಸಿ. ನೀವು ಅನಿಮಿತ ಕೆಲಸದ ಹೊರೆಗಳನ್ನು (intermittent workloads) ಹೊಂದಿದ್ದರೆ, ಸ್ಟೋರೇಜ್ ಮತ್ತು ಕೋಲ್ಡ್-ಸ್ಟಾರ್ಟ್ ವೆಚ್ಚಗಳು ಟೋಕನ್ ಬೆಲೆಗಿಂತ ಹೆಚ್ಚಾಗಬಹುದು.

ಸ್ಥಿತಿಸ್ಥಾಪಕ AI ಬಜೆಟ್ ಅನ್ನು ನಿರ್ಮಿಸುವುದು

ಯಾವುದೇ ಏಕೈಕ ಪ್ರೊವೈಡರ್ ನಿಮ್ಮ ಇಡೀ ಇನ್ಫರೆನ್ಸ್ ಬಜೆಟ್ ಅನ್ನು ನಿಯಂತ್ರಿಸುವಂತಿರಬಾರದು. ಬೆಲೆ ಅಪ್‌ಡೇಟ್‌ಗಳು ತುರ್ತು ಪರಿಸ್ಥಿತಿಗಳಾಗದೆ, ಸಾಮಾನ್ಯ ನಿರ್ವಹಣೆಯ ಭಾಗವಾಗುವಂತೆ ವ್ಯವಸ್ಥೆಗಳನ್ನು ನಿರ್ಮಿಸುವುದು ಗುರಿಯಾಗಲಿ. ನಿಮ್ಮ ವಿಳಂಬ (latency) ಮತ್ತು ನಿಖರತೆಯ ಅಗತ್ಯತೆಗಳಿಗೆ ಹೊಂದಿಕೆಯಾಗುವ ಪರ್ಯಾಯ ಮಾದರಿಗಳ ಪಟ್ಟಿಯನ್ನು ಸದಾ ಇಟ್ಟುಕೊಳ್ಳಿ. ನಿಮ್ಮ ಕೋಡ್‌ಬೇಸ್‌ನಲ್ಲಿ ಲಘು ಅಬ್‌ಸ್ಟ್ರಾಕ್ಷನ್ ಲೇಯರ್‌ಗಳನ್ನು (abstraction layers) ನಿರ್ವಹಿಸಿ, ಇದರಿಂದ ನೀವು ಬಿಸಿನೆಸ್ ಲಾಜಿಕ್ ಅನ್ನು ಮರುಬರೆಯದೆ ಎಂಡ್‌ಪಾಯಿಂಟ್‌ಗಳನ್ನು ಬದಲಾಯಿಸಬಹುದು.

ವೆಚ್ಚವು ಏಕೈಕ ಬದಲಾಗುವ ಅಂಶವಲ್ಲ. ವಿಳಂಬ (latency), ಲಭ್ಯತೆ ಮತ್ತು ಕಾಂಟೆಕ್ಸ್ಟ್-ವಿಂಡೋ ಗಾತ್ರವೂ ಮುಖ್ಯವಾಗಿವೆ. ಆದರೆ ಬೆಲೆಯು ಎಚ್ಚರಿಕೆ ಇಲ್ಲದೆ ಬದಲಾಗುವ ಅಂಶವಾಗಿದೆ. Novita ಮತ್ತು StreamLake ಅನ್ನು ಸ್ಥಿರವಾದ ಉಪಯುಕ್ತತೆಗಳಿಗಿಂತ (fixed utilities) ಹೆಚ್ಚಾಗಿ ಡೈನಾಮಿಕ್ ಮಾರುಕಟ್ಟೆಗಳಾಗಿ ಪರಿಗಣಿಸುವ ಮೂಲಕ, ನೀವು ಸವಾಲುಗಳನ್ನು ಎದುರಿಸಲು ಸಿದ್ಧರಾಗಿರುತ್ತೀರಿ.

ಮುಖ್ಯವಾದ ಅಂಶ

ನೀವು ಅಳೆಯದಿದ್ದನ್ನು ನೀವು ಉತ್ತಮಗೊಳಿಸಲು (optimize) ಸಾಧ್ಯವಿಲ್ಲ. Novita ಮತ್ತು StreamLake ಹೊಸ ದರ ಪಟ್ಟಿಗಳನ್ನು ಪರಿಚಯಿಸಿವೆ. ವಿವರಗಳನ್ನು ಇಲ್ಲಿ ಪರಿಶೀಲಿಸಿ, ನವೀಕರಿಸಿದ ವೆಚ್ಚಗಳ ವಿರುದ್ಧ ನಿಮ್ಮ ಅಂಕಿಅಂಶಗಳನ್ನು ಮರುಪರಿಶೀಲಿಸಿ ಮತ್ತು ನಿಮ್ಮ ಪ್ರಸ್ತುತ ಸ್ಟ್ಯಾಕ್ ಇನ್ನೂ ಆರ್ಥಿಕವಾಗಿ ಲಾಭದಾಯಕವಾಗಿದೆಯೇ ಎಂದು ನಿರ್ಧರಿಸಿ. ನೀವು ಮಾಡುವ ಈ ಸಣ್ಣ ಆಡಿಟಿಂಗ್, ಮುಂದೆ ಹಣಕಾಸು ವಿಭಾಗದೊಂದಿಗೆ ದೊಡ್ಡ ಮಟ್ಟದ ಚರ್ಚೆಯನ್ನು ತಪ್ಪಿಸುತ್ತದೆ.

ನೀವು ವಿವಿಧ ಪ್ರೊವೈಡರ್‌ಗಳ ಇನ್ಫರೆನ್ಸ್ ವೆಚ್ಚಗಳನ್ನು ಗಮನಿಸುತ್ತಿರುವ ಇತರ ಬಿಲ್ಡರ್‌ಗಳೊಂದಿಗೆ ಮಾಹಿತಿಯನ್ನು ಹಂಚಿಕೊಳ್ಳಲು ಬಯಸಿದರೆ, GyaanSetu learning community ತಂತ್ರಗಳನ್ನು ಹೋಲಿಕೆ ಮಾಡಲು ಉತ್ತಮ ಸ್ಥಳವಾಗಿದೆ. ಬೆಲೆ ಬದಲಾವಣೆಗಳು ನಿಮ್ಮನ್ನು ಅನಿರೀಕ್ಷಿತವಾಗಿ ಎದುರಿಸಿದಾಗ ಮಾತ್ರ ನೋವುಂಟುಮಾಡುತ್ತವೆ.