API ಬೆಲೆ ಬದಲಾವಣೆಗಳು ಅಪರೂಪಕ್ಕೆ ಸದ್ದು ಮಾಡುತ್ತವೆ. ಯಾವುದೇ ಸ್ಟೇಟಸ್-ಪೇಜ್ ಅಲರ್ಟ್ ಇಲ್ಲ, ಡಿಪ್ರಿಕೇಶನ್ ವಾರ್ನಿಂಗ್ ಇಲ್ಲ ಮತ್ತು ಸಾಮಾನ್ಯವಾಗಿ ಯಾವುದೇ ಇಮೇಲ್ ಸಂದೇಶಗಳೂ ಇರುವುದಿಲ್ಲ. ಪ್ರೊವೈಡರ್ನ ಬೆಲೆ ಪುಟದಲ್ಲಿನ ಅಂಕಿಅಂಶಗಳು ಸುಮ್ಮನೆ ಬದಲಾಗುತ್ತವೆ, ಮತ್ತು ಮುಂದಿನ ಬಾರಿ ನಿಮ್ಮ ಬ್ಯಾಚ್ ಜಾಬ್ ಮುಗಿದಾಗ, ಬಿಲ್ ವಿಭಿನ್ನವಾಗಿ ಕಾಣುತ್ತದೆ. Novita ಮತ್ತು StreamLake ವಿಷಯದಲ್ಲಿ ನಡೆದಿದ್ದೂ ಇದೇ. ಎರಡೂ ಪ್ಲಾಟ್ಫಾರ್ಮ್ಗಳು ತಮ್ಮ LLM ರೇಟ್ ಕಾರ್ಡ್ಗಳನ್ನು ಅಪ್ಡೇಟ್ ಮಾಡಿವೆ, ಮತ್ತು ನೀವು ಯಾವುದಾದರೂ ಸೇವೆಯಲ್ಲಿ ಇನ್ಫರೆನ್ಸ್ ವರ್ಕ್ಲೋಡ್ಗಳನ್ನು (inference workloads) ನಡೆಸುತ್ತಿದ್ದರೆ, ನಿಮ್ಮ ಮುಂದಿನ ಕಾರ್ಯವನ್ನು ಪ್ರಾರಂಭಿಸುವ ಮೊದಲು ಹೊಸ ಅಂಕಿಅಂಶಗಳನ್ನು ಪರಿಶೀಲಿಸಬೇಕಾಗುತ್ತದೆ.
ಬದಲಾಗುತ್ತಿರುವ ಬೆಲೆ ಗುರಿಗಳ ಮೌನ ಬೆದರಿಕೆ
ಹೆಚ್ಚಿನ ಎಂಜಿನಿಯರಿಂಗ್ ತಂಡಗಳು ಅಪ್ಟೈಮ್, ಲೇಟೆನ್ಸಿ ಮತ್ತು ಟೋಕನ್ ನಿಖರತೆಯನ್ನು ಅತ್ಯಂತ ಶ್ರದ್ಧೆಯಿಂದ ಮೇಲ್ವಿಚಾರಣೆ ಮಾಡುತ್ತವೆ. ಆದರೆ, ಸಾವಿರ ಟೋಕನ್ಗಳಿಗೆ ತಗಲುವ ವೆಚ್ಚವನ್ನು ಆನ್ಬೋರ್ಡಿಂಗ್ ಸಮಯದಲ್ಲಿ ಒಮ್ಮೆ ಮಾತ್ರ ಗಮನಿಸಲಾಗುತ್ತದೆ ಮತ್ತು ನಂತರ ಅದು ಹಿನ್ನೆಲೆಗೆ ಸರಿಯುತ್ತದೆ. ಅದು ಒಂದು ತಪ್ಪು. ಹೆಚ್ಚಿನ ಪ್ರಮಾಣದ ಅಪ್ಲಿಕೇಶನ್ಗಳಲ್ಲಿ—ಕಸ್ಟಮರ್ ಸಪೋರ್ಟ್ ಚಾಟ್ಬಾಟ್ಗಳು, ಡಾಕ್ಯುಮೆಂಟ್ ಸಮ್ಮರೈಸೇಶನ್ ಪೈಪ್ಲೈನ್ಗಳು, ಕೋಡ್ ಜನರೇಷನ್ ಟೂಲ್ಗಳು—ಒಂದು ಟೋಕನ್ಗೆ ಒಂದು ಸೆಂಟ್ನ ಸಣ್ಣ ಭಾಗದ ಬದಲಾವಣೆಯೂ ಸಹ ತಿಂಗಳ ಅಂತ್ಯದ ವೇಳೆಗೆ ಗಮನಾರ್ಹ ಬಜೆಟ್ ಒತ್ತಡಕ್ಕೆ ಕಾರಣವಾಗುತ್ತದೆ.
ತಕ್ಷಣದ ಕೋಡ್ ಬದಲಾವಣೆಯನ್ನು ಬಯಸುವ ಫೀಚರ್ ಡಿಪ್ರಿಕೇಶನ್ನಂತಲ್ಲದೆ, ಬೆಲೆ ಅಪ್ಡೇಟ್ ನಿಮ್ಮ ಇಂಟಿಗ್ರೇಶನ್ ಅನ್ನು ಪರಿಣಾಮ ಬೀರದು. ನಿಮ್ಮ ರಿಕ್ವೆಸ್ಟ್ಗಳು ಇನ್ನೂ 200 ಸ್ಟೇಟಸ್ ಕೋಡ್ಗಳನ್ನು ನೀಡುತ್ತವೆ. ನಿಮ್ಮ JSON ಪೇಲೋಡ್ಗಳು ಇನ್ನೂ ಸರಿಯಾಗಿ ಕಾಣುತ್ತವೆ. ಏಕೈಕ ವ್ಯತ್ಯಾಸವೆಂದರೆ ಇನ್ವಾಯ್ಸ್ (invoice). ಹಣಕಾಸು ವಿಭಾಗವು ವ್ಯತ್ಯಾಸವನ್ನು ಗುರುತಿಸುವಷ್ಟರಲ್ಲಿ, ನೀವು ಈಗಾಗಲೇ ಒಂದು ಸ್ಪ್ರಿಂಟ್ಗೆ (sprint) ಮೀಸಲಿಟ್ಟ ಇನ್ಫರೆನ್ಸ್ ಬಜೆಟ್ ಅನ್ನು ಖಾಲಿ ಮಾಡಿರಬಹುದು. Novita ಮತ್ತು StreamLake ಎರಡೂ ಇತ್ತೀಚೆಗೆ ತಮ್ಮ ಬೆಲೆ ರಚನೆಗಳನ್ನು ಬದಲಾಯಿಸಿವೆ, ಅಂದರೆ ಅವರ ಎಂಡ್ಪಾಯಿಂಟ್ಗಳನ್ನು ಬಳಸುವ ಯಾವುದೇ ಸ್ವಯಂಚಾಲಿತ ಪೈಪ್ಲೈನ್, ಸ್ಟೇಜಿಂಗ್ ಟೆಸ್ಟ್ ಅಥವಾ ಪ್ರೊಡಕ್ಷನ್ ವರ್ಕ್ಲೋಡ್ ನೀವು ನಿರೀಕ್ಷಿಸಿದ್ದಕ್ಕಿಂತ ಹೆಚ್ಚು ಅಥವಾ ಕಡಿಮೆ ವೆಚ್ಚವನ್ನು ಹೊಂದಿರಬಹುದು. ಊಹಿಸುವುದು ಯಾವುದೇ ತಂತ್ರವಲ್ಲ.
ಇತ್ತೀಚಿನ ಅಪ್ಡೇಟ್ಗಳ ಬಗ್ಗೆ ನಮಗೆ ತಿಳಿದಿರುವುದು
Novita ಮತ್ತು StreamLake ನ ಪ್ರಕಟಿತ ರೇಟ್ ಕಾರ್ಡ್ಗಳು ಎರಡೂ ಬದಲಾಗಿವೆ. ಮಾದರಿಯ ಹಂತ (model tier) ಮತ್ತು ಟೋಕನ್ ಪ್ರಕಾರಕ್ಕೆ ಅನುಗುಣವಾಗಿ ನಿಖರವಾದ ವ್ಯತ್ಯಾಸಗಳು ಬದಲಾಗಿದ್ದರೂ, ಮುಖ್ಯವಾದ ಅಂಶ ಒಂದೇ ಆಗಿದೆ: ಇನ್ಫರೆನ್ಸ್ ವೆಚ್ಚದ ಬಗ್ಗೆ ಕಳೆದ ತಿಂಗಳು ನೀವು ಹೊಂದಿದ್ದ ಊಹೆಗಳು ಇನ್ನು ಮುಂದೆ ಅನ್ವಯವಾಗದಿರಬಹುದು. GPU ಕ್ಲೌಡ್ ಸೇವೆಗಳ ಜೊತೆಗೆ ವಿವಿಧ ಲಾರ್ಜ್ ಲ್ಯಾಂಗ್ವೇಜ್ ಮಾಡೆಲ್ APIಗಳನ್ನು ನೀಡುವ Novita, ಮಾಡೆಲ್ ಪ್ರವೇಶಕ್ಕಾಗಿ ವಿಧಿಸುವ ಶುಲ್ಕವನ್ನು ಹೊಂದಾಣಿಕೆ ಮಾಡಿದೆ. ವ್ಯಾಪಕವಾದ ಕ್ಲೌಡ್ ಮತ್ತು AI ಇನ್ಫ್ರಾಸ್ಟ್ರಕ್ಚರ್ ಪ್ರೊವೈಡರ್ ಆಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತಿರುವ StreamLake ಕೂಡ ಇದೇ ರೀತಿಯಲ್ಲಿ ತನ್ನ LLM ಬೆಲೆ ವೇಳಾಪಟ್ಟಿಯನ್ನು ಪರಿಷ್ಕರಿಸಿದೆ.
ಈ ಪ್ಲಾಟ್ಫಾರ್ಮ್ಗಳು ವೆಚ್ಚಗಳನ್ನು ವಿಭಿನ್ನವಾಗಿ ರಚಿಸಿರುವುದರಿಂದ—ಕೆಲವು ಇನ್ಪುಟ್ ಮತ್ತು ಔಟ್ಪುಟ್ ಟೋಕನ್ಗಳನ್ನು ಪ್ರತ್ಯೇಕಿಸುತ್ತವೆ, ಕೆಲವು ಅವುಗಳನ್ನು ಒಟ್ಟಿಗೆ ಸೇರಿಸುತ್ತವೆ, ಇನ್ನು ಕೆಲವು ಲಾಂಗ್-ಕಾಂಟೆಕ್ಸ್ಟ್ ವಿಂಡೋಗಳು ಅಥವಾ ಹೈ-ಥ್ರೂಪುಟ್ ಎಂಡ್ಪಾಯಿಂಟ್ಗಳಿಗಾಗಿ ಪ್ರೀಮಿಯಂ ವಿಧಿಸುತ್ತವೆ—ಹಳೆಯ ಅಂದಾಜನ್ನು ಹೊಸ ಕಾರ್ಯಕ್ಕೆ ಸುರಕ್ಷಿತವಾಗಿ ಅನ್ವಯಿಸಲು ಸಾಧ್ಯವಿಲ್ಲ. ಸೋಮವಾರ ಆರ್ಥಿಕವಾಗಿ ಕಂಡ ವರ್ಕ್ಫ್ಲೋ, ಬುಧವಾರದ ವೇಳೆಗೆ ನೋವಿನ ಮಿತಿಯನ್ನು ಮೀರಿರಬಹುದು, ಒಂದು ವೇಳೆ ಔಟ್ಪುಟ್-ಟೋಕನ್ ಮಲ್ಟಿಪ್ಲೈಯರ್ ಬದಲಾಗಿದ್ದರೆ ಅಥವಾ ಡಿಸ್ಕೌಂಟ್ ಹಂತವನ್ನು ಮರುರಚಿಸಿದ್ದರೆ. ನಿರ್ದಿಷ್ಟ ದರ ಬದಲಾವಣೆಗಳ ವಿವರಗಳನ್ನು ಮೂಲ ડેವಲಪರ್ ವರದಿಯಲ್ಲಿ ದಾಖಲಿಸಲಾಗಿದೆ. ಆ ವರದಿಯನ್ನು ನೀವು ನಿಮ್ಮ ಮೂಲ ಸತ್ಯಾಂಶವಾಗಿ ಪರಿಗಣಿಸಬೇಕೇ ಹೊರತು, ಮೂರನೇ ವ್ಯಕ್ತಿಯ ಸಾರಾಂಶವಾಗಿ ಅಲ್ಲ.
LLM ರೇಟ್ ಕಾರ್ಡ್ ಅನ್ನು ಹೇಗೆ ಓದುವುದು
ಹಳೆಯ ವೆಚ್ಚವನ್ನು ಹೊಸ ವೆಚ್ಚದೊಂದಿಗೆ ಹೋಲಿಸುವ ಮೊದಲು, ನೀವು ವಾಸ್ತವವಾಗಿ ಏನನ್ನು ನೋಡುತ್ತಿದ್ದೀರಿ ಎಂಬುದು ನಿಮಗೆ ತಿಳಿದಿರಬೇಕು. ಹೆಚ್ಚಿನ ಪ್ರೊವೈಡರ್ಗಳು ಬೆಲೆಯನ್ನು ಕೆಲವು ವಿಭಿನ್ನ ಅಂಶಗಳಾಗಿ ವಿಂಗಡಿಸುತ್ತಾರೆ ಮತ್ತು Novita ಮತ್ತು StreamLake ಇದಕ್ಕೆ ಹೊರತಾಗಿಲ್ಲ.
ಮೊದಲನೆಯದಾಗಿ, ಇನ್ಪುಟ್ ಟೋಕನ್ಗಳನ್ನು ಔಟ್ಪುಟ್ ಟೋಕನ್ಗಳಿಂದ ಪ್ರತ್ಯೇಕಿಸಿ. ಇನ್ಪುಟ್ ಎಂದರೆ ನೀವು ಮಾಡೆಲ್ಗೆ ಕಳುಹಿಸುವುದು; ಔಟ್ಪುಟ್ ಎಂದರೆ ಮಾಡೆಲ್ ಸೃಷ್ಟಿಸುವಂತದ್ದು. ಅನೇಕ ಪ್ರೊಡಕ್ಷನ್ ಸಿಸ್ಟಮ್ಗಳಲ್ಲಿ, ಚಾಟ್ ಸಮ್ಮರೈಸೇಶನ್ ಅಥವಾ ಕ್ರಿಯೇಟಿವ್ ರೈಟಿಂಗ್ ಕಾರ್ಯಗಳಲ್ಲಿ ಔಟ್ಪುಟ್ ಪ್ರಮಾಣವು ಇನ್ಪುಟ್ ಪ್ರಮಾಣಕ್ಕಿಂತ ಹೆಚ್ಚಾಗಿರುತ್ತದೆ. ಇನ್ಪುಟ್ ವೆಚ್ಚವನ್ನು ಕಡಿಮೆ ಮಾಡಿ, ಔಟ್ಪುಟ್ ವೆಚ್ಚವನ್ನು ಹೆಚ್ಚಿಸುವ ಪ್ರೊವೈಡರ್ ವಾಸ್ತವವಾಗಿ ನಿಮ್ಮ ಒಟ್ಟು ಬಿಲ್ ಅನ್ನು ಹೆಚ್ಚಿಸಬಹುದು.
ಎರಡನೆಯದಾಗಿ, ಕಾಂಟೆಕ್ಸ್ಟ್-ವಿಂಡೋ ಬೆಲೆಗಳ ಬಗ್ಗೆ ಗಮನವಿರಲಿ. ಲಾಂಗ್-ಕಾಂಟೆಕ್ಸ್ಟ್ ಮಾಡೆಲ್ಗಳು, ಅಂದರೆ ಒಂದೇ ಬಾರಿಗೆ ಹತ್ತಾರು ಅಥವಾ ನೂರಾರು ಸಾವಿರ ಟೋಕನ್ಗಳನ್ನು ನಿರ್ವಹಿಸುವ ಮಾಡೆಲ್ಗಳು, ಕೆಲವೊಮ್ಮೆ ರೇಖೀಯವಾಗಿ (linearly) ಹೆಚ್ಚಾಗದ ಪ್ರೀಮಿಯಂಗಳನ್ನು ಹೊಂದಿರಬಹುದು. ನಿಮ್ಮ ಅಪ್ಲಿಕೇಶನ್ ಇಡೀ ಕೋಡ್ಬೇಸ್ಗಳು ಅಥವಾ ಸುದೀರ್ಘ ಕಾನೂನು ದಾಖಲೆಗಳನ್ನು ಪ್ರಾಂಪ್ಟ್ಗಳಾಗಿ ಕಳುಹಿಸಿದರೆ, ಲಾಂಗ್-ಕಾಂಟೆಕ್ಸ್ಟ್ ಹಂತದಲ್ಲಿನ ಸಣ್ಣ ಟೋಕನ್ ಏರಿಕೆಯು ಸಾಮಾನ್ಯ ಏರಿಕೆಗಿಂತ ಹೆಚ್ಚು ಪರಿಣಾಮ ಬೀರುತ್ತದೆ.
ಮೂರನೆಯದಾಗಿ, ಥ್ರೂಪುಟ್ ಮತ್ತು ಕನ್ಕರನ್ಸಿ (concurrency) ನಿಯಮಗಳನ್ನು ನೋಡಿ. ಕೆಲವು ರೇಟ್ ಕಾರ್ಡ್ಗಳು ಬ್ಯಾಚ್ಡ್ ಅಥವಾ ಆಫ್ಲೈನ್ ಇನ್ಫರೆನ್ಸ್ಗೆ ಕಡಿಮೆ ಬೆಲೆಗಳನ್ನು ನೀಡುತ್ತವೆ ಆದರೆ ರಿಯಲ್-ಟೈಮ್ ಸ್ಟ್ರೀಮಿಂಗ್ಗೆ ಹೆಚ್ಚು ವಿಧಿಸುತ್ತವೆ. ನಿಮ್ಮ ಬಳಕೆದಾರರ ಮುಖಾಮುಖಿ ಅಪ್ಲಿಕೇಶನ್ ಕಡಿಮೆ-ಲೇಟೆನ್ಸಿ ಪ್ರತಿಕ್ರಿಯೆಗಳ ಮೇಲೆ ಅವಲಂಬಿತವಾಗಿದ್ದರೆ, ಟೋಕನ್ ಪ್ರಮಾಣವನ್ನು ಲೆಕ್ಕಿಸದೆ ನೀವು ಪ್ರೀಮಿಯಂ ಹಂತದಲ್ಲಿ ಸಿಲುಕಬಹುದು.
ಕೊನೆಯದಾಗಿ, ಅಡಗಿರುವ ಪೂರಕ ವೆಚ್ಚಗಳನ್ನು ಪರಿಶೀಲಿಸಿ. ರಿಟ್ರಿೀವಲ್-ಆಗ್ಮೆಂಟೆಡ್ ಜನರೇಷನ್ (RAG) ಪೈಪ್ಲೈನ್ಗಳು LLM ಅನ್ನು ತಲುಪುವ ಮೊದಲೇ ಎಂಬೆಡಿಂಗ್ ಎಂಡ್ಪಾಯಿಂಟ್ಗಳು, ವೆಕ್ಟರ್ ಸ್ಟೋರ್ಗಳು ಮತ್ತು ರೆಂಕಿಂಗ್ (reranking) APIಗಳನ್ನು ತಲುಪುತ್ತವೆ. Novita ಮತ್ತು StreamLake ತಮ್ಮ LLM ಬೆಲೆಗಳನ್ನು ಅಪ್ಡೇಟ್ ಮಾಡಿರಬಹುದು, ಆದರೆ ಅದೇ ಇನ್ವಾಯ್ಸ್ನಲ್ಲಿರುವ ಪಕ್ಕದ ಸೇವೆಗಳ ಬೆಲೆಯೂ ಬದಲಾಗಿರಬಹುದು. ಕೇವಲ ಪ್ರತಿ ಮಿಲಿಯನ್ ಟೋಕನ್ಗೆ ಇರುವ ದರವನ್ನು ಮಾತ್ರ ನೋಡದೆ, ಇಡೀ ಪುಟವನ್ನು ಓದಿ.
ನಿಮ್ಮ ಮುಂದಿನ ನಿಯೋಜನೆಗಿಂತ ಮೊದಲು ಅಂಕಿಅಂಶಗಳನ್ನು ಪರಿಶೀಲಿಸಿ
ಹೊಸ ದರ ಪಟ್ಟಿ (rate card) ಸಿಕ್ಕ ತಕ್ಷಣ, ಕೇವಲ ಊಹಿಸಬೇಡಿ. ಅಳೆಯಿರಿ. ಕಳೆದ