ਲਾਰਜ ਲੈਂਗੂਏਜ ਮਾਡਲ (LLM) ਦੀ ਕੀਮਤ ਉੱਪਰੋਂ ਦੇਖਣ ਵਿੱਚ ਸਰਲ ਲੱਗਦੀ ਹੈ। ਤੁਸੀਂ ਪ੍ਰਤੀ ਟੋਕਨ (per token) ਭੁਗਤਾਨ ਕਰਦੇ ਹੋ। ਪਰ ਪ੍ਰੋਡਕਸ਼ਨ ਵਰਕਲੋਡ ਚਲਾਉਣ ਵਾਲਾ ਕੋਈ ਵੀ ਵਿਅਕਤੀ ਜਾਣਦਾ ਹੈ ਕਿ ਅਸਲੀਅਤ ਕਿਤੇ ਜ਼ਿਆਦਾ ਉਲਝੀ ਹੋਈ ਹੈ। ਬਿਨਾਂ ਕਿਸੇ ਵੱਡੇ ਐਲਾਨ ਦੇ ਦਰਾਂ (rates) ਬਦਲ ਜਾਂਦੀਆਂ ਹਨ। ਬਿਲਿੰਗ ਟਾਇਰਾਂ (billing tiers) ਦਾ ਮੁੜ-ਢਾਂਚਾ ਬਣਾਇਆ ਜਾਂਦਾ ਹੈ। ਇੱਕ ਸੈਂਟ ਦਾ ਕੁਝ ਹਿੱਸਾ ਇੱਥੇ ਗਾਇਬ ਹੋ ਜਾਂਦਾ ਹੈ ਅਤੇ ਉੱਥੇ reappears ਹੋ ਜਾਂਦਾ ਹੈ, ਅਤੇ ਅਚਾਨਕ ਤੁਹਾਡਾ ਮਹੀਨਾਵਾਰ ਖਰਚਾ ਵੀਹ ਪ੍ਰਤੀਸ਼ਤ ਵਧ ਜਾਂਦਾ ਹੈ। ਇਸੇ ਕਰਕੇ ਤਿੰਨ ਪ੍ਰੋਵਾਈਡਰਾਂ—Ambient, Novita, ਅਤੇ StreamLake—ਦੀਆਂ ਹਾਲੀਆ ਕੀਮਤਾਂ ਵਿੱਚ ਕੀਤੇ ਗਏ ਅਪਡੇਟਸ ਤੁਹਾਡੇ ਤੁਰੰਤ ਧਿਆਨ ਦੇ ਯੋਗ ਹਨ। ਜੇਕਰ ਤੁਸੀਂ ਇਹਨਾਂ ਵਿੱਚੋਂ ਕਿਸੇ ਵੀ ਪਲੇਟਫਾਰਮ ਦੀ ਵਰਤੋਂ ਕਰ ਰਹੇ ਹੋ, ਤਾਂ ਪਿਛਲੇ ਮਹੀਨੇ ਤੁਸੀਂ ਜੋ ਬਜਟ ਬਣਾਇਆ ਸੀ, ਉਹ ਹੁਣ ਭਰੋਸੇਯੋਗ ਨਹੀਂ ਰਿਹਾ।
ਟੋਕਨ ਇਕਨਾਮਿਕਸ ਦਾ ਲੁਕਿਆ ਹੋਇਆ ਭਾਰ
ਜ਼ਿਆਦਾਤਰ ਡਿਵੈਲਪਰ ਬੇਸ ਰੇਟ (base rate) 'ਤੇ ਹੀ ਧਿਆਨ ਕੇਂਦਰਿਤ ਕਰਦੇ ਹਨ। ਇਨਪੁਟ ਟੋਕਨਾਂ ਦੀ ਕੀਮਤ ਇੰਨੀ ਹੈ। ਆਉਟਪੁੱਟ ਟੋਕਨਾਂ ਦੀ ਕੀਮਤ ਉੰਨੀ ਹੈ। ਕਹਾਣੀ ਇੱਥੇ ਖਤਮ। ਪਰ ਅਜਿਹਾ ਨਹੀਂ ਹੈ। ਇੱਕ LLM ਇੰਟੀਗ੍ਰੇਸ਼ਨ ਦੀ ਅਸਲ ਲਾਗਤ ਵਿੱਚ ਰੀਟ੍ਰਾਈ ਲੌਜਿਕ (retry logic), ਫੇਲ ਹੋਈਆਂ ਰਿਕੁਐਸਟਾਂ ਜਿਨ੍ਹਾਂ ਦਾ ਬਿੱਲ ਫਿਰ ਵੀ ਆਉਂਦਾ ਹੈ, ਕੰਟੈਕਸਟ ਵਿੰਡੋ ਪੈਡਿੰਗ (context window padding), ਅਤੇ ਸਿਸਟਮ ਪ੍ਰੋਂਪਟ ਸ਼ਾਮਲ ਹੁੰਦੇ ਹਨ ਜੋ ਹਰ ਵਾਰ ਤੁਹਾਡੇ ਇਨਪੁਟ ਅਲਾਟੇਸ਼ਨ ਨੂੰ ਘਟਾਉਂਦੇ ਹਨ। ਜਦੋਂ ਕੋਈ ਪ੍ਰੋਵਾਈਡਰ ਆਪਣੀ ਕੀਮਤ ਅਪਡੇਟ ਕਰਦਾ ਹੈ, ਤਾਂ ਉਹ ਸ਼ਾਇਦ ਹੀ ਕਦੇ ਸਾਰੀਆਂ ਦਰਾਂ ਨੂੰ ਬਰਾਬਰ ਵਧਾਉਂਦਾ ਹੈ। ਕਦੇ-ਕਦੇ ਇਨਪੁਟ ਸਸਤਾ ਹੋ ਜਾਂਦਾ ਹੈ ਜਦੋਂ ਕਿ ਆਉਟਪੁੱਟ ਮਹਿੰਗਾ ਹੋ ਜਾਂਦਾ ਹੈ। ਕਦੇ-ਕਦੇ ਲੌਂਗ-ਕੰਟੈਕਸਟ ਮਾਡਲ ਇੱਕ ਵੱਖਰੇ ਟਾਇਰ ਵਿੱਚ ਚਲੇ ਜਾਂਦੇ ਹਨ। ਕਦੇ-ਕਦੇ ਬਦਲਾਅ ਪ੍ਰਤੀ-ਟੋਕਨ ਦਰ ਵਿੱਚ ਨਹੀਂ ਹੁੰਦਾ, ਸਗੋਂ ਮਿਨੀਮਮ ਕੰਪਿਊਟ ਚਾਰਜ ਜਾਂ ਬੈਚ ਪ੍ਰੋਸੈਸਿੰਗ ਡਿਸਕਾਊਂਟ ਵਿੱਚ ਹੁੰਦਾ ਹੈ।
ਜੇਕਰ ਤੁਸੀਂ ਕਿਸੇ ਟੀਮ ਲਈ ਖਰਚਿਆਂ ਦਾ ਪ੍ਰਬੰਧਨ ਕਰਦੇ ਹੋ, ਤਾਂ ਤੁਹਾਨੂੰ ਇਹਨਾਂ ਅਪਡੇਟਸ ਨੂੰ ਮਾਮੂਲੀ ਨੋਟਸ ਦੀ ਬਜਾਏ ਇਨਫਰਾਸਟ੍ਰਕਚਰ ਇਵੈਂਟਸ (infrastructure events) ਵਜੋਂ ਦੇਖਣ ਦੀ ਲੋੜ ਹੈ। ਕੀਮਤ ਵਾਲਾ ਪੇਜ ਡਾਲਰਾਂ ਵਿੱਚ ਲਿਖਿਆ ਇੱਕ ਸਰਵਿਸ-ਲੈਵਲ ਐਗਰੀਮੈਂਟ (SLA) ਹੁੰਦਾ ਹੈ। ਜਦੋਂ ਇਹ ਬਦਲਦਾ ਹੈ, ਤਾਂ ਹੋ ਸਕਦਾ ਹੈ ਕਿ ਤੁਹਾਡੇ ਆਰਕੀਟੈਕਚਰ ਨੂੰ ਵੀ ਇਸ ਦੇ ਨਾਲ ਬਦਲਣ ਦੀ ਲੋੜ ਪਵੇ।
Ambient ਦਾ ਕੀਮਤ ਅਪਡੇਟ
Ambient ਨੇ ਆਪਣੀ ਮਾਡਲ ਕੀਮਤਾਂ ਨੂੰ ਐਡਜਸਟ ਕੀਤਾ ਹੈ, ਜਿਸਦਾ ਮਤਲਬ ਹੈ ਕਿ ਉਹਨਾਂ ਦੇ ਐਂਡਪੁਆਇੰਟਸ (endpoints) 'ਤੇ ਚੱਲ ਰਹੀ ਤੁਹਾਡੀ ਕੋਈ ਵੀ ਇੰਟੀਗ੍ਰੇਸ਼ਨ ਇੱਕ ਨਵੀਂ ਨਜ਼ਰ ਦੀ ਲੋੜ ਰੱਖਦੀ ਹੈ। ਸਭ ਤੋਂ ਪਹਿਲਾਂ ਸਪੱਸ਼ਟ ਚੀਜ਼ਾਂ ਤੋਂ ਸ਼ੁਰੂ ਕਰੋ: ਆਪਣੀ ਪਿਛਲੀ ਇਨਵੌਇਸ (invoice) ਨਾਲ ਨਵੀਆਂ ਇਨਪੁਟ ਅਤੇ ਆਉਟਪੁੱਟ ਦਰਾਂ ਦੀ ਤੁਲਨਾ ਕਰੋ। ਯਾਦਦਾਸ਼ਤ 'ਤੇ ਭਰੋਸਾ ਨਾ ਕਰੋ। ਦੋਵਾਂ ਪੇਜਾਂ ਨੂੰ ਆਮਣੇ-ਸਾਹਮਣੇ ਖੋਲ੍ਹੋ।
ਖਾਸ ਤੌਰ 'ਤੇ ਕੰਟੈਕਸਟ-ਵਿੰਡੋ ਕੀਮਤਾਂ (context-window pricing) ਵੱਲ ਦੇਖੋ। ਕੁਝ ਪ੍ਰੋਵਾਈਡਰ 4K ਟੋਕਨਾਂ ਤੱਕ ਇੱਕ ਫਲੈਟ ਰੇਟ ਲੈਂਦੇ ਹਨ, ਫਿਰ 8K, 32K, ਜਾਂ 128K ਦੀਆਂ ਸੀਮਾਵਾਂ 'ਤੇ ਦਰਾਂ ਵਧਾ ਦਿੰਦੇ ਹਨ। ਜੇਕਰ Ambient ਨੇ ਉਹਨਾਂ ਟਾਇਰਾਂ ਨੂੰ ਸਖ਼ਤ ਕੀਤਾ ਹੈ ਜਾਂ ਨਵੇਂ ਟਾਇਰ ਜੋੜੇ ਹਨ, ਤਾਂ ਤੁਹਾਡੇ ਲੌਂਗ-ਡੌਕੂਮੈਂਟ ਸਮਰੀਜ਼ੇਸ਼ਨ (long-document summarization) ਦੇ ਕੰਮਾਂ ਦੀ ਲਾਗਤ ਤੁਹਾਡੇ Q&A ਬੋਟਸ ਨਾਲੋਂ ਅਚਾਨਕ ਕਾਫ਼ੀ ਜ਼ਿਆਦਾ ਹੋ ਸਕਦੀ ਹੈ। ਇਹ ਵੀ ਚੈੱਕ ਕਰੋ ਕਿ ਕੀ ਉਹਨਾਂ ਨੇ ਆਉਟਪੁੱਟ ਟੋਕਨ ਦੀ ਆਪਣੀ ਪਰਿਭਾਸ਼ਾ ਬਦਲੀ ਹੈ। ਕੁਝ ਵੈਂਡਰ ਇੰਟਰਨਲ ਰੀਜ਼ਨਿੰਗ (internal reasoning) ਜਾਂ ਟੂਲ-ਕਾਲਿੰਗ (tool-calling) ਟੋਕਨਾਂ ਨੂੰ ਆਉਟਪੁੱਟ ਵਜੋਂ ਬਿੱਲ ਕਰਦੇ ਹਨ; ਦੂਜੇ ਅਜਿਹਾ ਨਹੀਂ ਕਰਦੇ। ਇਹ ਅਸਪਸ਼ਟਤਾ ਜਲਦੀ ਹੀ ਇਨਵੌਇਸ ਵਿੱਚ ਹੈਰਾਨੀ ਦਾ ਕਾਰਨ ਬਣ ਜਾਂਦੀ ਹੈ।
ਜੇਕਰ ਤੁਸੀਂ ਰਿਸਪਾਂਸ ਕੈਸ਼ (caching responses) ਕਰ ਰਹੇ ਹੋ, ਤਾਂ ਪੁਸ਼ਟੀ ਕਰੋ ਕਿ ਕੀ Ambient ਨੇ ਆਪਣੀ ਕੈਸ਼ ਹਿੱਟ ਕੀਮਤ (cache hit pricing) ਬਦਲੀ ਹੈ। ਕੁਝ ਪ੍ਰੋਵਾਈਡਰ ਵਾਰ-ਵਾਰ ਵਰਤੇ ਜਾਣ ਵਾਲੇ ਪ੍ਰੋਂਪਟਸ 'ਤੇ ਡਿਸਕਾਊਂਟ ਦਿੰਦੇ ਹਨ। ਜੇਕਰ ਉਹ ਡਿਸਕਾਊਂਟ ਘਟ ਗਿਆ ਹੈ, ਤਾਂ ਤੁਹਾਡੀ ਡਿਡੂਪਲੀਕੇਸ਼ਨ ਰਣਨੀਤੀ (deduplication strategy) ਨੂੰ ਮਜ਼ਬੂਤ ਕਰਨ ਦੀ ਲੋੜ ਹੋ ਸਕਦੀ ਹੈ।
Novita ਦੀਆਂ ਇਨਫਰੈਂਸ ਦਰਾਂ
Novita ਇੱਕ ਇਨਫਰੈਂਸ ਪਲੇਟਫਾਰਮ (inference platform) ਵਜੋਂ ਕੰਮ ਕਰਦਾ ਹੈ ਜਿੱਥੇ ਡਿਵੈਲਪਰ ਯੂਨੀਫਾਈਡ ਐਂਡਪੁਆਇੰਟਸ (unified endpoints) ਰਾਹੀਂ ਕਈ ਤਰ੍ਹਾਂ ਦੇ ਮਾਡਲਾਂ ਤੱਕ ਪਹੁੰਚ ਕਰ ਸਕਦੇ ਹਨ। ਉਹ ਸਹੂਲਤ ਕੀਮਤੀ ਹੈ, ਪਰ ਇਸਦਾ ਮਤਲਬ ਇਹ ਵੀ ਹੈ ਕਿ ਕੀਮਤਾਂ ਵਿੱਚ ਬਦਲਾਅ ਇੱਕੋ ਸਮੇਂ ਕਈ ਮਾਡਲ ਫੈਮਿਲੀਜ਼ ਵਿੱਚ ਫੈਲ ਸਕਦਾ ਹੈ। Novita ਦੀ ਅਪਡੇਟ ਕੀਤੀਆਂ ਕੀਮਤਾਂ ਛੋਟੇ ਐਮਬੈਡਿੰਗ ਮਾਡਲਾਂ (embedding models) ਤੋਂ ਲੈ ਕੇ ਵੱਡੇ ਰੀਜ਼ਨਿੰਗ ਇੰਜਣਾਂ (reasoning engines) ਤੱਕ ਸਭ ਕੁਝ ਪ੍ਰਭਾਵਿਤ ਕਰ ਸਕਦੀਆਂ ਹਨ।
ਆਪਣੇ ਵਰਤੋਂ ਲੌਗਸ (usage logs) ਕੱਢੋ ਅਤੇ ਉਹਨਾਂ ਨੂੰ ਮਾਡਲ ਅਨੁਸਾਰ ਗਰੁੱਪ ਕਰੋ। ਹੋ ਸਕਦਾ ਕਿ Novita ਨੇ ਜਨਰਲ ਚੈਟ ਮਾਡਲਾਂ ਲਈ ਦਰਾਂ ਨੂੰ ਸਥਿਰ ਰੱਖਿਆ ਹੋਵੇ ਪਰ ਵਿਜ਼ਨ (vision) ਜਾਂ ਕੋਡ-ਵਿਸ਼ੇਸ਼ ਵੇਰੀਐਂਟਸ ਲਈ ਉਹਨਾਂ ਨੂੰ ਵਧਾ ਦਿੱਤਾ ਹੋਵੇ। ਜਾਂ ਉਹਨਾਂ ਨੇ ਖੇਤਰੀ ਕੀਮਤਾਂ (regional pricing) ਦੀ ਸ਼ੁਰੂਆਤ ਕੀਤੀ ਹੋ ਸਕਦੀ ਹੈ ਜੋ ਤੁਹਾਡੇ ਯੂਰਪੀਅਨ ਟ੍ਰੈਫਿਕ ਨੂੰ ਮਹਿੰਗੇ ਨੋਡਸ (nodes) ਰਾਹੀਂ ਰੂਟ ਕਰਦੀ ਹੈ। ਜੇਕਰ ਤੁਹਾਡੀ ਐਪਲੀਕੇਸ਼ਨ ਵਿੱਚ ਮਾਡਲ ਦੀ ਚੋਣ ਹਾਰਡਕੋਡਡ (hardcoded) ਹੈ, ਤਾਂ ਇੱਕ ਮਾਡਲ 'ਤੇ ਦਰਾਂ ਦਾ ਵਧਣਾ ਇੱਕ ਥੋੜ੍ਹੇ ਜਿਹੇ ਹੌਲੀ ਵਿਕਲਪ ਨੂੰ ਇੱਕ ਤਰਕਪੂਰਨ ਚੋਣ ਬਣਾ ਸਕਦਾ ਹੈ।
ਥਰੂਪੁੱਟ ਚਾਰਜਸ (throughput charges) ਵੱਲ ਧਿਆਨ ਦਿਓ। Novita ਵਰਗੇ ਪਲੇਟਫਾਰਮ ਕਦੇ-ਕਦੇ ਟੋਕਨ ਦੀ ਲਾਗਤ ਨੂੰ ਡਿਲੀਵਰੀ ਦੀ ਰਫ਼ਤਾਰ ਤੋਂ ਵੱਖਰਾ ਕਰਦੇ ਹਨ। ਜੇਕਰ ਤੁਸੀਂ ਪ੍ਰੀਮੀਅਮ ਲੋ-ਲੈਟੈਂਸੀ ਐਂਡਪੁਆਇੰਟਸ (low-latency endpoints) ਲਈ ਭੁਗਤਾਨ ਕਰ ਰਹੇ ਹੋ, ਤਾਂ ਚੈੱਕ ਕਰੋ ਕਿ ਕੀ ਉਹ ਸਰਚਾਰਜ ਵਧ ਗਿਆ ਹੈ। ਬੈਚ ਜਾਂ ਆਫਲਾਈਨ ਵਰਕਲੋਡਸ ਲਈ,