Novita recently updated its LLM pricing. For teams running production inference through the platform, that sentence shou

Novita ಇತ್ತೀಚೆಗೆ ತನ್ನ LLM ಬೆಲೆಗಳನ್ನು (pricing) ಅಪ್‌ಡೇಟ್ ಮಾಡಿದೆ. ಈ ಪ್ಲಾಟ್‌ಫಾರ್ಮ್ ಮೂಲಕ ಪ್ರೊಡಕ್ಷನ್ ಇನ್ಫರೆನ್ಸ್ (production inference) ನಡೆಸುತ್ತಿರುವ ತಂಡಗಳಿಗೆ, ಈ ವಾಕ್ಯವು ನಿಮ್ಮ ಪ್ರಸ್ತುತ ವೆಚ್ಚದ ತಕ್ಷಣದ ಆಡಿಟ್ ಅನ್ನು ಪ್ರಚೋದಿಸಬೇಕು. API ದರಗಳ ಬದಲಾವಣೆಗಳು ಅಪರೂಪಕ್ಕೆ ಅನುಕೂಲಕರ ಸಮಯದಲ್ಲಿ ಬರುತ್ತವೆ, ಮತ್ತು ಅವುಗಳು ಹಲವಾರು ಮಾಡೆಲ್ ಹಂತಗಳಲ್ಲಿ (model tiers) ಅನ್ವಯವಾದಾಗ, ನಿಮ್ಮ ಮಾಸಿಕ ವೆಚ್ಚದ ಮೇಲೆ ಉಂಟಾಗುವ ಪರಿಣಾಮ ನಿರೀಕ್ಷಿಸಿದ್ದಕ್ಕಿಂತ ಹೆಚ್ಚಿರಬಹುದು.

ಇನ್ಫರೆನ್ಸ್ ಬೆಲೆಗೆ ನೀವು ಏಕೆ ಗಮನ ನೀಡಬೇಕು

ಹೆಚ್ಚಿನ ಆಧುನಿಕ AI ಅಪ್ಲಿಕೇಶನ್‌ಗಳು ಸ್ವಯಂ-ನಿರ್ವಹಣೆಯ GPU ಕ್ಲಸ್ಟರ್‌ಗಳ ಮೇಲೆ ನಿರ್ಮಿತವಾಗಿಲ್ಲ. ಡೆವಲಪರ್‌ಗಳು Novita ನಂತಹ ಇನ್ಫರೆನ್ಸ್ ಪ್ರೊವೈಡರ್‌ಗಳಿಗೆ ವಿನಂತಿಗಳನ್ನು (requests) ಕಳುಹಿಸುತ್ತಾರೆ, ಏಕೆಂದರೆ ಪರ್ಯಾಯವಾಗಿ ಹಾರ್ಡ್‌ವೇರ್ ಅನ್ನು ಪಡೆಯುವುದು, vLLM ಅಥವಾ TGI ನಿಯೋಜನೆಗಳನ್ನು (deployments) ನಿರ್ವಹಿಸುವುದು ಮತ್ತು ಟ್ರಾಫಿಕ್ ಏರಿಳಿತದ ಸಮಯದಲ್ಲಿ 'ಕೋಲ್ಡ್ ಸ್ಟಾರ್ಟ್'ಗಳನ್ನು (cold starts) ನಿಭಾಯಿಸುವುದು ಅಗತ್ಯವಾಗುತ್ತದೆ. ಆ ಅನುಕೂಲವು ಅಮೂಲ್ಯವಾದುದು. ಆದರೆ ಅದು ಬಳಕೆಯ ಆಧಾರದ ಮೇಲೆ (metered) ಇರುತ್ತದೆ. ಉತ್ಪಾದನೆಯಾಗುವ ಪ್ರತಿಯೊಂದು ಟೋಕನ್ ಕೂಡ ಬಳಕೆದಾರರ ಸೆಷನ್‌ಗಳು, ಬ್ಯಾಕ್‌ಗ್ರೌಂಡ್ ಕೆಲಸಗಳು ಮತ್ತು ಆಂತರಿಕ ಪರಿಕರಗಳ ಮೂಲಕ ಹೆಚ್ಚಾಗುವ ಬಿಲ್‌ಗೆ ಸೇರ್ಪಡೆಯಾಗುತ್ತದೆ.

ಪ್ರೊವೈಡರ್ ತನ್ನ ಬೆಲೆಯನ್ನು ಹೊಂದಾಣಿಕೆ ಮಾಡಿದಾಗ, ಅದರ ಪರಿಣಾಮವು ನಿಮ್ಮ ಇಡೀ ಸ್ಟ್ಯಾಕ್ ಮೇಲೆ ಬೀರುತ್ತದೆ. ದಿನಕ್ಕೆ ಹತ್ತು ಸಾವಿರ ಗ್ರಾಹಕರ ಸಂಭಾಷಣೆಗಳನ್ನು ನಿರ್ವಹಿಸುವ ಚಾಟ್‌ಬಾಟ್ ಒಂದು ವಾರದಲ್ಲಿ ನಾಲ್ಕು ಕೋಟಿ ಇನ್‌ಪುಟ್ ಟೋಕನ್‌ಗಳು ಮತ್ತು ಹನ್ನೆರಡು ಮಿಲಿಯನ್ ಔಟ್‌ಪುಟ್ ಟೋಕನ್‌ಗಳನ್ನು ಬಳಸಬಹುದು. ಪ್ರತಿ ಮಿಲಿಯನ್‌ಗೆ ಇರುವ ದರವನ್ನು ಕೇವಲ ಕೆಲವು ಡಾಲರ್‌ಗಳಿಂದ ಬದಲಾಯಿಸಿದರೂ, ಮಾಸಿಕ ವ್ಯತ್ಯಾಸವು ತ್ವರಿತವಾಗಿ ಗಮನಾರ್ಹವಾಗುತ್ತದೆ. ಸೀಮಿತ ಬಂಡವಾಳದೊಂದಿಗೆ (bootstrapped) ಕಾರ್ಯನಿರ್ವಹಿಸುವ ಉತ್ಪನ್ನಗಳು ಅಥವಾ ಕಡಿಮೆ ಲಾಭದ ಅಂಚಿನಲ್ಲಿರುವ ತಂಡಗಳಿಗೆ, ಆ ವ್ಯತ್ಯಾಸವು ಲಾಭದಾಯಕತೆಯನ್ನು ನಾಶಮಾಡಬಹುದು. ಬ್ರೌಸರ್ ಎಕ್ಸ್‌ಟೆನ್ಶನ್ ಆಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುವ ಕೋಡಿಂಗ್ ಅಸಿಸ್ಟೆಂಟ್, ರಾತ್ರಿಯಿಡೀ ಪ್ರೊಸೆಸ್ ಆಗುವ ಬ್ಯಾಚ್ ಸಮ್ಮರೈಸೇಶನ್ ಪೈಪ್‌ಲೈನ್ ಅಥವಾ ಪ್ರತಿ ಪೇಜ್ ಲೋಡ್ ಮಾಡುವಾಗ ಮಾಡೆಲ್ ಅನ್ನು ಪ್ರಶ್ನಿಸುವ ಆಂತರಿಕ ಲುಕ್‌ಅಪ್ ಟೂಲ್ - ಇವೆಲ್ಲವೂ ಒಂದೇ ರೀತಿಯ ಅಸುರಕ್ಷಿತತೆಗೆ ಒಳಗಾಗಿವೆ. ಅವುಗಳ ಯುನಿಟ್ ಎಕನಾಮಿಕ್ಸ್ ಮುಂದಿನ ಟೋಕನ್‌ನ ನಿಖರ ಬೆಲೆಯ ಮೇಲೆ ಅವಲಂಬಿತವಾಗಿದೆ.

Novita ನಲ್ಲಿ ಏನಾಯಿತು?

Novita ತನ್ನ ಕ್ಯಾಟಲಾಗ್‌ನಲ್ಲಿರುವ ವಿವಿಧ ಮಾಡೆಲ್‌ಗಳ ಮೇಲೆ ಪರಿಣಾಮ ಬೀರುವ ಹೊಸ ವೆಚ್ಚಗಳನ್ನು ಜಾರಿಗೆ ತಂದಿದೆ. ಕಂಪನಿಯು ಎಲ್ಲಾ ಮಾಡೆಲ್‌ಗಳಿಗೂ ಏಕರೂಪದ ಶೇಕಡಾವಾರು ಏರಿಕೆ ಅಥವಾ ಕಡಿತವನ್ನು ಮಾಡಿಲ್ಲ. ಬದಲಾಗಿ, ಹೊಂದಾಣಿಕೆಗಳು ಮಾಡೆಲ್ ಆಧಾರಿತವಾಗಿವೆ, ಅಂದರೆ ನೀವು ಯಾವ ಎಂಡ್‌ಪಾಯಿಂಟ್‌ಗಳನ್ನು (endpoints) ಬಳಸುತ್ತಿದ್ದೀರಿ ಎಂಬುದರ ಮೇಲೆ ನಿಮ್ಮ ಬಿಲ್ ಬದಲಾಗುತ್ತದೆ.

ನಿಮ್ಮ ಅಪ್ಲಿಕೇಶನ್ ಎಲ್ಲಾ ಟ್ರಾಫಿಕ್ ಅನ್ನು ಒಂದೇ ಲಾರ್ಜ್ ಲ್ಯಾಂಗ್ವೇಜ್ ಮಾಡೆಲ್ ಮೂಲಕ ಕಳುಹಿಸುವುದಾದರೆ, ನಿಮ್ಮ ಲೆಕ್ಕಾಚಾರ ಸರಳವಾಗಿದೆ. ಹಳೆಯ ದರವನ್ನು ಹೊಸ ದರಕ್ಕೆ ಹೋಲಿಸಿ ಮತ್ತು ಆಗುವ ನಷ್ಟ ಅಥವಾ ಉಳಿತಾಯವನ್ನು ಅಂದಾಜಿಸಿ. ಆದರೆ ಹೆಚ್ಚಿನ ಪ್ರೊಡಕ್ಷನ್ ಸೆಟಪ್‌ಗಳು ಸಂಕೀರ್ಣವಾಗಿರುತ್ತವೆ. ತಂಡಗಳು ಸಾಮಾನ್ಯವಾಗಿ ಸರಳ ಪ್ರಶ್ನೆಗಳನ್ನು ಲೈಟ್ ಮಾಡೆಲ್‌ಗಳಿಗೆ ಕಳುಹಿಸಲು ಮತ್ತು ಸಂಕೀರ್ಣ ತಾರ್ಕಿಕ ಕಾರ್ಯಗಳಿಗಾಗಿ (complex reasoning tasks) ಹೆವಿ ಮಾಡೆಲ್‌ಗಳನ್ನು ಮೀಸಲಿಡಲು ರೂಟಿಂಗ್ ಲಾಜಿಕ್ ಅನ್ನು ಬಳಸುತ್ತವೆ. ಇತರರು ವಿಳಂಬ (latency) ಮತ್ತು ಗುಣಮಟ್ಟವನ್ನು ಹೋಲಿಸಲು ಹಲವಾರು ಮಾಡೆಲ್‌ಗಳ ಮೇಲೆ A/B ಪರೀಕ್ಷೆಗಳನ್ನು ನಡೆಸುತ್ತಾರೆ. ಅಂತಹ ಸಂದರ್ಭಗಳಲ್ಲಿ, ಕೇವಲ ಒಂದು ಅಥವಾ ಎರಡು ಮಾಡೆಲ್‌ಗಳ ಬೆಲೆಯಲ್ಲಿನ ಬದಲಾವಣೆಯು ನಿಮ್ಮ ಇಡೀ ವೆಚ್ಚದ ರಚನೆಯನ್ನು (cost structure) ಅಸ್ತವ್ಯಸ್ತಗೊಳಿಸಬಹುದು.

ನಿರ್ದಿಷ್ಟ ಪ್ರತಿ-ಟೋಕನ್ ಮತ್ತು ಪ್ರತಿ-ವಿನಂತಿ (per-request) ಅಂಕಿಅಂಶಗಳನ್ನು Dev.to ನಲ್ಲಿ Narevbot ಪ್ರಕಟಿಸಿದ ವಿವರವಾದ ವಿಶ್ಲೇಷಣೆಯಲ್ಲಿ ವಿವರಿಸಲಾಗಿದೆ. ನೀವು ನಿಖರವಾದ ದರ ಪಟ್ಟಿಯನ್ನು (rate card) ಇಲ್ಲಿ ಪರಿಶೀಲಿಸಬಹುದು: https://dev.to/narevbot/changes-to-llm-pricing-novita-3plc

ನಿಮ್ಮ ನೆನಪು ಅಥವಾ ನಿಮ್ಮ ಡಾಕ್ಯುಮೆಂಟೇಶನ್‌ನಲ್ಲಿ ಅಡಗಿರುವ ಹಳೆಯ ಸ್ಕ್ರೀನ್‌ಶಾಟ್ ಮೇಲೆ ಅವಲಂಬಿತರಾಗಬೇಡಿ. ನಿಮ್ಮ ಮುಂದಿನ ತ್ರೈಮಾಸಿಕದ ಯೋಜನೆಯನ್ನು ಮಾಡುವ ಮೊದಲು ಆ ಮೂಲದಿಂದ ನೇರವಾಗಿ ಪ್ರಸ್ತುತ ಅಂಕಿಅಂಶಗಳನ್ನು ಪಡೆಯಿರಿ.

ನಿಮ್ಮ ವೆಚ್ಚದ ಪರಿಣಾಮವನ್ನು (Exposure) ಹೇಗೆ ಆಡಿಟ್ ಮಾಡುವುದು

ಕಲ್ಪನೆಗಳಿಗಿಂತ ದತ್ತಾಂಶದೊಂದಿಗೆ (data) ಪ್ರಾರಂಭಿಸಿ. ನಿಮ್ಮ Novita ಡ್ಯಾಶ್‌ಬೋರ್ಡ್‌ಗೆ ಲಾಗ್ ಇನ್ ಮಾಡಿ ಮತ್ತು ಕಳೆದ ಎರಡು ಅಥವಾ ಮೂರು ತಿಂಗಳ ನಿಮ್ಮ ಬಳಕೆಯ ಇತಿಹಾಸವನ್ನು (usage history) ಎಕ್ಸ್‌ಪೋರ್ಟ್ ಮಾಡಿ. ಆ ದತ್ತಾಂಶವನ್ನು ಮಾಡೆಲ್ ಮತ್ತು ಕಾರ್ಯಾಚರಣೆಯ ಪ್ರಕಾರದ (operation type) ಆಧಾರದ ಮೇಲೆ ವಿಂಗಡಿಸಿ. ಯಾವ ಎಂಡ್‌ಪಾಯಿಂಟ್‌ಗಳು ನಿಮ್ಮ ಬಜೆಟ್‌ನ ಹೆಚ್ಚಿನ ಭಾಗವನ್ನು ಬಳಸುತ್ತಿವೆ ಮತ್ತು ಯಾವವು ಪ್ರತಿ ವಿನಂತಿಗೆ ಅತಿ ಹೆಚ್ಚು ಟೋಕನ್‌ಗಳನ್ನು ಉತ್ಪಾದಿಸುತ್ತಿವೆ ಎಂಬುದು ನಿಮಗೆ ತಿಳಿದಿರಬೇಕು.

ಈ ಕೆಳಗಿನ ಮಾದರಿಗಳನ್ನು ಗಮನಿಸಿ:

• ಕೇಂದ್ರೀಕೃತ ಅಪಾಯ (Concentration risk). ನಿಮ್ಮ ವೆಚ್ಚದ ಶೇಕಡಾ ಎಪ್ಪತ್ತು ಒಂದು ಮಾಡೆಲ್ ಮೂಲಕವೇ ಹರಿಯುತ್ತಿದ್ದರೆ ಮತ್ತು ಆ ಮಾಡೆಲ್‌ನ ಬೆಲೆ ಏರಿಕೆಯಾಗಿದ್ದರೆ, ನಿಮ್ಮ ತುರ್ತು ಕ್ರಮವು ಸ್ಪಷ್ಟವಾಗಿದೆ. ನಿಮ್ಮ ವೆಚ್ಚವು ಎಂಟು ಮಾಡೆಲ್‌ಗಳಲ್ಲಿ ಹರಡಿದ್ದರೆ ಮತ್ತು ಅವುಗಳಲ್ಲಿ ಮೂರು ಬೆಲೆ ಬದಲಾಯಿಸಿದ್ದರೆ, ಲೆಕ್ಕಾಚಾರ ಮಾಡಲು ಹೆಚ್ಚು ಸಮಯ ತೆಗೆದುಕೊಳ್ಳಬಹುದು ಆದರೆ ಅಪಾಯವು ನಿಜವಾಗಿಯೂ ಇರುತ್ತದೆ.
• ಟೋಕನ್ ಬ್ಲೋಟ್ (Token bloat). ನಿಮ್ಮ ಪ್ರಾಂಪ್ಟ್‌ಗಳು ಅನಗತ್ಯ ಸಂದರ್ಭದೊಂದಿಗೆ (context) ಅತಿಯಾಗುತ್ತಿವೆಯೇ ಎಂದು ಪರಿಶೀಲಿಸಿ. ಉದ್ದವಾದ ಸಿಸ್ಟಮ್ ಪ್ರಾಂಪ್ಟ್‌ಗಳು, ಪುನರಾವರ್ತಿತ ಫ್ಯೂ-ಶಾಟ್ ಉದಾಹರಣೆಗಳು (few-shot examples) ಮತ್ತು ವಿವರವಾದ XML ಫಾರ್ಮ್ಯಾಟಿಂಗ್ ಎಲ್ಲವೂ ಇನ್‌ಪುಟ್ ವೆಚ್ಚವನ್ನು ಹೆಚ್ಚಿಸುತ್ತವೆ. ಬೆಲೆ ಅಪ್‌ಡೇಟ್ ಮಾಡುವುದು ಅನಗತ್ಯ ವೆಚ್ಚವನ್ನು ಕಡಿಮೆ ಮಾಡಲು ಒಂದು ಉತ್ತಮ ಅವಕಾಶವಾಗಿದೆ.
• ಔಟ್‌ಪುಟ್ ಅಸಮರ್ಥತೆ (Output inefficiency). ನಿಮ್ಮ ಅಪ್ಲಿಕೇಶನ್ ದೀರ್ಘವಾದ ಪೂರ್ಣಗೊಳಿಸುವಿಕೆಯನ್ನು (completions) ವಿನಂತಿಸಿದರೆ ಆದರೆ ಕೇವಲ ಮೊದಲ ಕೆಲವು ವಾಕ್ಯಗಳನ್ನು ಮಾತ್ರ ಬಳಸಿದರೆ, ನೀವು ಬಿಸಾಡುವ ಟೋಕನ್‌ಗಳಿಗೂ ಹಣ ಪಾವತಿಸುತ್ತಿದ್ದೀರಿ ಎಂದರ್ಥ. ನಿಮ್ಮ max_token ಮಿತಿಗಳು ಮತ್ತು ಸ್ಟಾಪ್ ಸೀಕ್ವೆನ್ಸ್ (stop sequences) ಅನ್ನು ಹೊಂದಾಣಿಕೆ ಮಾಡಿ.
• ನಿಷ್ಕ್ರಿಯ ಬ್ಯಾಕ್‌ಗ್ರೌಂಡ್ ಕೆಲಸಗಳು (Idle background jobs). ವರದಿಗಳನ್ನು ರಚಿಸುವ ಅಥವಾ ದಾಖಲೆಗಳನ್ನು ಎಂಬೆಡ್ ಮಾಡುವ ನಿಗದಿತ ಕಾರ್ಯವು ಅಗತ್ಯಕ್ಕಿಂತ ಹೆಚ್ಚು ಬಾರಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತಿರಬಹುದು. ಕ್ರೋನ್ ಶೆಡ್ಯೂಲ್ (cron schedule) ಮತ್ತು ಬ್ಯಾಚ್ ಗಾತ್ರವನ್ನು ಪರಿಶೀಲಿಸಿ.