API ಬೆಲೆ ಎಂಬುದು ಕೇವಲ ಒಂದು ಸಾಲಿನ ವಿವರಣೆ ಮಾತ್ರವಲ್ಲ. AI ವೈಶಿಷ್ಟ್ಯಗಳನ್ನು ಬಿಡುಗಡೆ ಮಾಡುವ ತಂಡಗಳಿಗೆ, ಇದು ಒಂದು ರಚನಾತ್ಮಕ ಬದಲಾವಣೆಯ ಅಂಶವಾಗಿದೆ. Novita ಮತ್ತು StreamLake ತಮ್ಮ ಮಾಡೆಲ್ ದರಗಳನ್ನು ಬದಲಾಯಿಸಿದಾಗ, ಅದರ ಪರಿಣಾಮವು ಕೇವಲ ಇನ್ವಾಯ್ಸ್ನಲ್ಲಿನ ಸಣ್ಣ ಹೊಂದಾಣಿಕೆಯಾಗಿರುವುದಿಲ್ಲ. ಇದು ಯೂನಿಟ್ ಎಕನಾಮಿಕ್ಸ್ ಅನ್ನು ಮರುಲೆಕ್ಕಹಾಕಲು, ಮಾಡೆಲ್ ಆಯ್ಕೆಗಳನ್ನು ಮರುಸಮತೋಲನಗೊಳಿಸಲು ಮತ್ತು ಆರ್ಕಿಟೆಕ್ಚರಲ್ ಕಲ್ಪನೆಗಳನ್ನು ಮರುಪರಿಶೀಲಿಸಲು ನೀಡುವ ಸಂಕೇತವಾಗಿದೆ. ನೀವು ಈ ಎರಡರಲ್ಲಿ ಯಾವುದಾದರೂ ಪ್ಲಾಟ್ಫಾರ್ಮ್ ಮೂಲಕ ಪ್ರೊಡಕ್ಷನ್ ಟ್ರಾಫಿಕ್ ಅನ್ನು ನಿರ್ವಹಿಸುತ್ತಿದ್ದರೆ, ನಿಖರವಾಗಿ ಏನು ಬದಲಾಗಿದೆ ಮತ್ತು ಅದಕ್ಕೆ ಹೇಗೆ ಪ್ರತಿಕ್ರಿಯಿಸಬೇಕು ಎಂಬುದು ನಿಮಗೆ ತಿಳಿದಿರಬೇಕು.
ಪ್ರೊಡಕ್ಷನ್ ವರ್ಕ್ಲೋಡ್ಗಳಿಗೆ ಬೆಲೆ ಏರಿಳಿತಗಳು ಏಕೆ ಮುಖ್ಯ
ಟೋಕನ್ ಆಧಾರಿತ ಬಿಲ್ಲಿಂಗ್ ದೊಡ್ಡ ಮಟ್ಟದಲ್ಲಿ ಬಳಕೆಯಾಗುವವರೆಗೆ ಅಗ್ಗವಾಗಿ ಕಾಣಿಸಬಹುದು. ಪ್ರೊಟೊಟೈಪ್ನಲ್ಲಿ ಪ್ರತಿ ಮಿಲಿಯನ್ ಟೋಕನ್ಗಳಿಗೆ ಕೆಲವು ಡಾಲರ್ಗಳ ದರವು ಅಲ್ಪ ಪ್ರಮಾಣದ ವ್ಯತ್ಯಾಸದಂತೆ ಕೇಳಿಸಬಹುದು. ಆದರೆ ಲೈವ್ ಬಳಕೆದಾರರಿಗೆ ಸೇವೆ ಸಲ್ಲಿಸುವ ಲಕ್ಷಾಂತರ ಔಟ್ಪುಟ್ ಟೋಕನ್ಗಳೊಂದಿಗೆ ಇದನ್ನು ಗುಣಿಸಿದಾಗ, ಇದು ನಿಮ್ಮ ಅತಿದೊಡ್ಡ ವೇರಿಯಬಲ್ ವೆಚ್ಚಗಳಲ್ಲಿ ಒಂದಾಗುತ್ತದೆ. ಹೆಚ್ಚಿನ LLM ಪೂರೈಕೆದಾರರು ಇನ್ಪುಟ್ ಮತ್ತು ಔಟ್ಪುಟ್ ಟೋಕನ್ಗಳ ನಡುವೆ ಶುಲ್ಕವನ್ನು ವಿಭಜಿಸುತ್ತಾರೆ, ಮತ್ತು ಆ ಎರಡು ಸಂಖ್ಯೆಗಳ ನಡುವಿನ ಅನುಪಾತವು ನಿಮ್ಮ ಅಪ್ಲಿಕೇಶನ್ ದೀರ್ಘ ಸಂಭಾಷಣೆಗಳು ಅಥವಾ ಭಾರೀ ಬ್ಯಾಚ್ ಕೆಲಸಗಳ ಸಮಯದಲ್ಲಿ ಹಣವನ್ನು ವ್ಯರ್ಥ ಮಾಡುತ್ತದೆಯೇ ಅಥವಾ ಇಲ್ಲವೇ ಎಂಬುದನ್ನು ನಿರ್ಧರಿಸುತ್ತದೆ.
ದಿನಕ್ಕೆ ಹತ್ತು ಸಾವಿರ ಪ್ರಶ್ನೆಗಳನ್ನು ನಿರ್ವಹಿಸುವ ಕಸ್ಟಮರ್ ಸಪೋರ್ಟ್ ಅಸಿಸ್ಟೆಂಟ್ ಅನ್ನು ಪರಿಗಣಿಸಿ. ಒಂದು ಸರಾಸರಿ ಸಂಭಾಷಣೆಯು ಎರಡು ಸಾವಿರ ಇನ್ಪುಟ್ ಟೋಕನ್ಗಳು ಮತ್ತು ಐದು ನೂರು ಔಟ್ಪುಟ್ ಟೋಕನ್ಗಳನ್ನು ಬಳಸಿದರೆ, ಪ್ರತಿ ಸಾವಿರ ಟೋಕನ್ಗಳಿಗೆ ಒಂದು ಸೆಂಟ್ನ ಸಣ್ಣ ಭಾಗದ ಬದಲಾವಣೆಯೂ ಸಹ ನಿಮ್ಮ ಮಾಸಿಕ ಬಿಲ್ ಅನ್ನು ನೂರಾರು ಡಾಲರ್ಗಳಷ್ಟು ಬದಲಿಸಬಹುದು. ನೀವು retrieval-augmented generation context, system prompts ಮತ್ತು multi-turn memory ಅನ್ನು ಸೇರಿಸಿದಾಗ, ಇನ್ಪುಟ್ ಭಾಗವು ನಿರೀಕ್ಷಿತಕ್ಕಿಂತ ವೇಗವಾಗಿ ಹೆಚ್ಚಾಗುತ್ತದೆ. ಈ ನಿರ್ದಿಷ್ಟ ಆರ್ಕಿಟೆಕ್ಚರಲ್ಗಾಗಿ, ಔಟ್ಪುಟ್ ಟೋಕನ್ಗಳಿಗಿಂತ ಇನ್ಪುಟ್ ಟೋಕನ್ಗಳ ಬೆಲೆ ಏರಿಕೆಯು ಹೆಚ್ಚು ನಷ್ಟವನ್ನು ಉಂಟುಮಾಡುತ್ತದೆ. ಇದಕ್ಕೆ ವಿರುದ್ಧವಾಗಿ, ಔಟ್ಪುಟ್ ಟೋಕನ್ಗಳ ಬೆಲೆ ಕಡಿತವು ಚಾಟ್-ಹೆವಿ ಅಪ್ಲಿಕೇಶನ್ಗಳಿಗೆ ಹೆಚ್ಚಿನ ಪ್ರಯೋಜನವನ್ನು ನೀಡುತ್ತದೆ.
Novita ಒಂದು ಮಾಡೆಲ್ ಅಗ್ಲಿಗೇಟರ್ ಆಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ, ಇದು ಡೆವಲಪರ್ಗಳಿಗೆ ಒಂದೇ ಎಂಡ್ಪಾಯಿಂಟ್ ಮೂಲಕ ವಿವಿಧ ಓಪನ್-ವೇಟ್ ಮತ್ತು ಪ್ರೊಪ್ರೈಟರಿ ಮಾಡೆಲ್ಗಳಿಗೆ ಪ್ರವೇಶವನ್ನು ನೀಡುತ್ತದೆ. ಆ ಅನುಕೂಲವು ಅಮೂಲ್ಯವಾಗಿದೆ, ಆದರೆ ಬೆಲೆ ಬದಲಾವಣೆಗಳು ಏಕಕಾಲದಲ್ಲಿ ಹಲವಾರು ಮಾಡೆಲ್ ಕುಟುಂಬಗಳ ಮೇಲೆ ಪರಿಣಾಮ ಬೀರಬಹುದು ಎಂದೂ ಅರ್ಥೈಸುತ್ತದೆ. ByteDance ನ ಇನ್ಫ್ರಾಸ್ಟ್ರಕ್ಚರ್ ಎಕೋಸಿಸ್ಟಮ್ನಲ್ಲಿ ಬೇರೂರಿರುವ StreamLake, ತನ್ನ ವ್ಯಾಪಕವಾದ ಕ್ಲೌಡ್ ಮತ್ತು ಮೀಡಿಯಾ ಸೇವೆಗಳ ಜೊತೆಗೆ LLM ಪ್ರವೇಶವನ್ನು ನೀಡುತ್ತದೆ. ಅಲ್ಲಿನ ಬೆಲೆ ಹೊಂದಾಣಿಕೆಗಳು ಪ್ರತ್ಯೇಕವಾಗಿರುವುದಿಲ್ಲ; ಅವು ಈಗಾಗಲೇ ಆ ಸ್ಟ್ಯಾಕ್ ಅನ್ನು ಬಳಸುತ್ತಿರುವ ತಂಡಗಳ ಒಟ್ಟು ಮಾಲೀಕತ್ವದ ವೆಚ್ಚದ ಮೇಲೆ (total cost of ownership) ಪರಿಣಾಮ ಬೀರುತ್ತವೆ.
Novita ಮತ್ತು StreamLake ನಲ್ಲಿ ಏನಾಯಿತು
Novita ಅಥವಾ StreamLake ಎರಡೂ ಬೆಲೆಯನ್ನು ಸ್ಥಿರ ಎಂದು ಪರಿಗಣಿಸುವುದಿಲ್ಲ. ಎರಡೂ ತಮ್ಮ ಮಾಡೆಲ್ ದರಗಳನ್ನು ಅಪ್ಡೇಟ್ ಮಾಡಿವೆ ಮತ್ತು ವಿವರಗಳು ಮಾಡೆಲ್ ಟಿಯರ್ ಮತ್ತು ಟೋಕನ್ ಪ್ರಕಾರಕ್ಕೆ ಅನುಗುಣವಾಗಿ ಬದಲಾಗುತ್ತವೆ. ಹೊಸ ರೇಟ್ ಕಾರ್ಡ್ಗಳೊಂದಿಗೆ ನೀವು ಅವುಗಳನ್ನು ಪರಿಶೀಲಿಸುವವರೆಗೆ, ನಿಮ್ಮ ಪ್ರಸ್ತುತ ಯೋಜನೆಯ ಅಂದಾಜುಗಳನ್ನು ಹಳೆಯದು ಎಂದು ಪರಿಗಣಿಸಬೇಕು.
Novita ಗಾಗಿ, ಬದಲಾವಣೆಗಳು ನೀವು ಬಳಸುತ್ತಿರುವ ಫ್ರಾಂಟಿಯರ್ ಮಾಡೆಲ್ಗಳಿಗೆ ಅನ್ವಯಿಸುತ್ತವೆಯೇ ಅಥವಾ ನಿಮ್ಮ ಹೆಚ್ಚಿನ ಟ್ರಾಫಿಕ್ ಅನ್ನು ನಿರ್ವಹಿಸುವ ಅಗ್ಗದ ಫಾಲ್ಬ್ಯಾಕ್ ಆಯ್ಕೆಗಳಿಗೆ ಅನ್ವಯಿಸುತ್ತವೆಯೇ ಎಂಬುದನ್ನು ಸೂಕ್ಷ್ಮವಾಗಿ ಗಮನಿಸಿ. ಅಗ್ಲಿಗೇಟರ್ಗಳು ಹೆಚ್ಚಾಗಿ ತಮ್ಮದೇ ಆದ ಇನ್ಫರೆನ್ಸ್ ವೆಚ್ಚಗಳನ್ನು ಪ್ರತಿಬಿಂಬಿಸಲು ಬೆಲೆಯನ್ನು ಹೊಂದಾಣಿಕೆ ಮಾಡುತ್ತವೆ, ಇದು ಮಾಡೆಲ್ಗಳು ಅಪ್ಡೇಟ್ ಆದಂತೆ ಅಥವಾ ಹಾರ್ಡ್ವೇರ್ ಒಪ್ಪಂದಗಳು ಬದಲಾದಂತೆ ಬದಲಾಗುತ್ತದೆ. ನಿನ್ನೆವರೆಗೆ ನಿಮ್ಮ ವೆಚ್ಚ-ಪರಿಣಾಮಕಾರಿ ಕೆಲಸಗಾರನಾಗಿದ್ದ ಮಾಡೆಲ್ ಇಂದು ಬೇರೆ ವಿಭಾಗದಲ್ಲಿರಬಹುದು.
ನೀವು StreamLake ನ ಕ್ಲೌಡ್ ಇನ್ಫ್ರಾಸ್ಟ್ರಕ್ಚರ್ ಜೊತೆಗೆ LLM ಬಳಕೆಯನ್ನು ಒಟ್ಟಿಗೆ ಬಳಸುತ್ತಿದ್ದರೆ, StreamLake ನ ಬೆಲೆ ಹೊಂದಾಣಿಕೆಗಳು ಹೆಚ್ಚು ಮುಖ್ಯವಾಗುತ್ತವೆ. ನಿಮ್ಮ ಕಂಪ್ಯೂಟ್ ಮತ್ತು ಸ್ಟೋರೇಜ್ ವೆಚ್ಚಗಳು ಸ್ಥಿರವಾಗಿದ್ದರೂ ಸಹ, ಮಾಡೆಲ್ ಬೆಲೆಯಲ್ಲಿನ ಬದಲಾವಣೆಗಳು ನಿಮ್ಮ ಒಟ್ಟು ಮಾಸಿಕ ವೆಚ್ಚದ ಲೆಕ್ಕಾಚಾರವನ್ನು ಬದಲಿಸಬಹುದು. ದೊಡ್ಡ ByteDance ಎಕೋಸಿಸ್ಟಮ್ನೊಳಗೆ StreamLake ಬಳಸುವ ತಂಡಗಳು, ಹೊಸ ದರಗಳು ತಮ್ಮ ಅಸ್ತಿತ್ವದಲ್ಲಿರುವ ಒಪ್ಪಂದಗಳ ಮೇಲೆ ಪರಿಣಾಮ ಬೀರುತ್ತವೆಯೇ ಅಥವಾ ಕೇವಲ ಪೇ-ಆಸ್-ಯೂ-ಗೋ (pay-as-you-go) ಹಂತಗಳಿಗೆ ಮಾತ್ರ ಅನ್ವಯಿಸುತ್ತವೆಯೇ ಎಂಬುದನ್ನು ಪರಿಶೀಲಿಸಬೇಕಾಗುತ್ತದೆ.
ನಿಮ್ಮ ಸ್ಟ್ಯಾಕ್ ಮೇಲಿನ ಪರಿಣಾಮವನ್ನು ಹೇಗೆ ಆಡಿಟ್ ಮಾಡುವುದು
ನಿಮ್ಮ ಮೊದಲ ಹೆಜ್ಜೆ ಕಳೆದ ಮೂವತ್ತು ದಿನಗಳ ಬಳಕೆಯ ಲಾಗ್ಗಳನ್ನು ಪಡೆದು ಹೊಸ ದರಗಳೊಂದಿಗೆ ಹೋಲಿಸುವುದು. ಕೇವಲ ಶೀರ್ಷಿಕೆಯ ಶೇಕಡಾವಾರು ಪ್ರಮಾಣವನ್ನು ಮಾತ್ರ ನೋಡಬೇಡಿ. ಅದನ್ನು ಈ ಕೆಳಗಿನಂತೆ ವಿಂಗಡಿಸಿ:
- ಇನ್ಪುಟ್ ಟೋಕನ್ ದರಗಳು ಮತ್ತು ಔಟ್ಪುಟ್ ಟೋಕನ್ ದರಗಳ ನಡುವಿನ ವ್ಯತ್ಯಾಸ
- ಸಂದರ್ಭದ ಕ್ಯಾಷಿಂಗ್ (context caching) ಶುಲ್ಕಗಳು, ಇದ್ದರೆ