API ਕੀਮਤਾਂ ਕਦੇ ਵੀ ਸਿਰਫ਼ ਇੱਕ ਲਾਈਨ ਆਈਟਮ ਨਹੀਂ ਹੁੰਦੀਆਂ। AI ਫੀਚਰਸ ਲਾਂਚ ਕਰਨ ਵਾਲੀਆਂ ਟੀਮਾਂ ਲਈ, ਇਹ ਇੱਕ ਢਾਂਚਾਗਤ ਚਲ (structural variable) ਹੈ। ਜਦੋਂ Novita ਅਤੇ StreamLake ਆਪਣੀਆਂ ਮਾਡਲ ਦਰਾਂ ਵਿੱਚ ਬਦਲਾਅ ਕਰਦੇ ਹਨ, ਤਾਂ ਇਸਦਾ ਪ੍ਰਭਾਵ ਸਿਰਫ਼ ਇਨਵੌਇਸ ਵਿੱਚ ਇੱਕ ਛੋਟਾ ਜਿਹਾ ਬਦਲਾਅ ਨਹੀਂ ਹੁੰਦਾ। ਇਹ ਯੂਨਿਟ ਇਕਨਾਮਿਕਸ ਦੀ ਮੁੜ-ਗਣਨਾ ਕਰਨ, ਮਾਡਲ ਦੀਆਂ ਚੋਣਾਂ ਨੂੰ ਮੁੜ-ਸੰਤੁਲਿਤ ਕਰਨ ਅਤੇ ਆਰਕੀਟੈਕਚਰਲ ਅਨੁਮਾਨਾਂ ਦੀ ਸਮੀਖਿਆ ਕਰਨ ਦਾ ਇੱਕ ਸੰਕੇਤ ਹੈ। ਜੇਕਰ ਤੁਸੀਂ ਇਹਨਾਂ ਵਿੱਚੋਂ ਕਿਸੇ ਵੀ ਪਲੇਟਫਾਰਮ ਰਾਹੀਂ ਪ੍ਰੋਡਕਸ਼ਨ ਟ੍ਰੈਫਿਕ ਚਲਾ ਰਹੇ ਹੋ, ਤਾਂ ਤੁਹਾਨੂੰ ਇਹ ਜਾਣਨ ਦੀ ਲੋੜ ਹੈ ਕਿ ਅਸਲ ਵਿੱਚ ਕੀ ਬਦਲਿਆ ਹੈ ਅਤੇ ਉਸਦਾ ਜਵਾਬ ਕਿਵੇਂ ਦੇਣਾ ਹੈ।

ਪ੍ਰੋਡਕਸ਼ਨ ਵਰਕਲੋਡਸ ਲਈ ਕੀਮਤਾਂ ਦੇ ਅਪਡੇਟ ਕਿਉਂ ਮਹੱਤਵਪੂਰਨ ਹਨ

ਟੋਕਨ-ਅਧਾਰਤ ਬਿਲਿੰਗ ਉਦੋਂ ਤੱਕ ਸਸਤੀ ਲੱਗਦੀ ਹੈ ਜਦੋਂ ਤੱਕ ਇਹ ਵੱਡੇ ਪੱਧਰ 'ਤੇ ਨਹੀਂ ਜਾਂਦੀ। ਪ੍ਰੋਟੋਟਾਈਪ ਵਿੱਚ ਪ੍ਰਤੀ ਮਿਲੀਅਨ ਟੋਕਨਾਂ ਲਈ ਕੁਝ ਡਾਲਰਾਂ ਦੀ ਦਰ ਬਹੁਤ ਘੱਟ ਲੱਗਦੀ ਹੈ। ਪਰ ਜਦੋਂ ਤੁਸੀਂ ਲਾਈਵ ਯੂਜ਼ਰਸ ਨੂੰ ਸੇਵਾ ਪ੍ਰਦਾਨ ਕਰਨ ਵਾਲੇ ਲੱਖਾਂ ਆਊਟਪੁੱਟ ਟੋਕਨਾਂ 'ਤੇ ਇਸ ਨੂੰ ਗੁਣਾ ਕਰਦੇ ਹੋ, ਤਾਂ ਇਹ ਤੁਹਾਡੇ ਸਭ ਤੋਂ ਵੱਡੇ ਵੇਰੀਏਬਲ ਖ਼ਰਚਿਆਂ ਵਿੱਚੋਂ ਇੱਕ ਬਣ ਜਾਂਦੀ ਹੈ। ਜ਼ਿਆਦਾਤਰ LLM ਪ੍ਰੋਵਾਈਡਰ ਇਨਪੁੱਟ ਅਤੇ ਆਊਟਪੁੱਟ ਟੋਕਨਾਂ ਵਿਚਕਾਰ ਖ਼ਰਚਿਆਂ ਨੂੰ ਵੰਡਦੇ ਹਨ, ਅਤੇ ਇਹਨਾਂ ਦੋਵਾਂ ਨੰਬਰਾਂ ਵਿਚਕਾਰ ਅਨੁਪਾਤ ਇਹ ਨਿਰਧਾਰਤ ਕਰਦਾ ਹੈ ਕਿ ਕੀ ਤੁਹਾਡੀ ਐਪਲੀਕੇਸ਼ਨ ਲੰਬੀਆਂ ਗੱਲਬਾਤ ਜਾਂ ਭਾਰੀ ਬੈਚ ਜੌਬਸ ਦੌਰਾਨ ਪੈਸੇ ਗਵਾ ਰਹੀ ਹੈ।

ਇੱਕ ਕਸਟਮਰ ਸਪੋਰਟ ਅਸਿਸਟੈਂਟ ਬਾਰੇ ਵਿਚਾਰ ਕਰੋ ਜੋ ਰੋਜ਼ਾਨਾ ਦਸ ਹਜ਼ਾਰ ਕੁਐਰੀਆਂ (queries) ਨੂੰ ਸੰਭਾਲਦਾ ਹੈ। ਜੇਕਰ ਔਸਤ ਗੱਲਬਾਤ ਵਿੱਚ ਦੋ ਹਜ਼ਾਰ ਇਨਪੁੱਟ ਟੋਕਨ ਅਤੇ ਪੰਜ ਸੌ ਆਊਟਪੁੱਟ ਟੋਕਨ ਵਰਤੇ ਜਾਂਦੇ ਹਨ, ਤਾਂ ਹਜ਼ਾਰ ਟੋਕਨਾਂ 'ਤੇ ਇੱਕ ਸੈਂਟ ਦਾ ਬਹੁਤ ਛੋਟਾ ਹਿੱਸਾ ਵੀ ਤੁਹਾਡੇ ਮਹੀਨਾਵਾਰ ਬਿੱਲ ਨੂੰ ਸੈਂਕੜੇ ਡਾਲਰਾਂ ਤੱਕ ਵਧਾ ਸਕਦਾ ਹੈ। ਜਦੋਂ ਤੁਸੀਂ retrieval-augmented generation context, ਸਿਸਟਮ ਪ੍ਰੋਂਪਟਸ, ਅਤੇ multi-turn memory ਜੋੜਦੇ ਹੋ, ਤਾਂ ਇਨਪੁੱਟ ਪਾਸਾ ਅਕਸਰ ਉਮੀਦ ਤੋਂ ਕਿਤੇ ਜ਼ਿਆਦਾ ਤੇਜ਼ੀ ਨਾਲ ਵਧਦਾ ਹੈ। ਇਸ ਖਾਸ ਆਰਕੀਟੈਕਚਰ ਲਈ, ਇਨਪੁੱਟ ਟੋਕਨਾਂ ਦੀਆਂ ਕੀਮਤਾਂ ਵਿੱਚ ਵਾਧਾ ਹੋਣਾ ਆਊਟਪੁੱਟ ਟੋਕਨਾਂ ਦੇ ਵਾਧੇ ਨਾਲੋਂ ਜ਼ਿਆਦਾ ਨੁਕਸਾਨਦੇਹ ਹੁੰਦਾ ਹੈ। ਇਸ ਦੇ ਉਲਟ, ਆਊਟਪੁੱਟ ਟੋਕਨਾਂ ਦੀਆਂ ਕੀਮਤਾਂ ਵਿੱਚ ਕਟੌਤੀ ਚੈਟ-ਭਾਰੀ ਐਪਲੀਕੇਸ਼ਨਾਂ ਨੂੰ ਬਹੁਤ ਜ਼ਿਆਦਾ ਫਾਇਦਾ ਪਹੁੰਚਾਉਂਦੀ ਹੈ।

Novita ਇੱਕ ਮਾਡਲ ਐਗਰੀਗੇਟਰ (aggregator) ਵਜੋਂ ਕੰਮ ਕਰਦਾ ਹੈ, ਜੋ ਡਿਵੈਲਪਰਾਂ ਨੂੰ ਇੱਕ ਸਿੰਗਲ ਐਂਡਪੁਆਇੰਟ ਰਾਹੀਂ ਕਈ open-weight ਅਤੇ proprietary ਮਾਡਲਾਂ ਤੱਕ ਪਹੁੰਚ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ। ਉਹ ਸਹੂਲਤ ਕੀਮਤੀ ਹੈ, ਪਰ ਇਸਦਾ ਮਤਲਬ ਇਹ ਵੀ ਹੈ ਕਿ ਕੀਮਤਾਂ ਵਿੱਚ ਬਦਲਾਅ ਇੱਕੋ ਸਮੇਂ ਕਈ ਮਾਡਲ ਫੈਮਿਲੀਜ਼ ਨੂੰ ਪ੍ਰਭਾਵਿਤ ਕਰ ਸਕਦੇ ਹਨ। ByteDance ਦੇ ਇਨਫਰਾਸਟ੍ਰਕਚਰ ਇਕੋਸਿਸਟਮ ਨਾਲ ਜੁੜਿਆ ਹੋਇਆ StreamLake, ਆਪਣੀਆਂ ਵਿਆਪਕ ਕਲਾਉਡ ਅਤੇ ਮੀਡੀਆ ਸੇਵਾਵਾਂ ਦੇ ਨਾਲ-ਨਾਲ LLM ਤੱਕ ਪਹੁੰਚ ਵੀ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ। ਉੱਥੇ ਕੀਮਤਾਂ ਵਿੱਚ ਹੋਣ ਵਾਲੇ ਬਦਲਾਅ ਇਕੱਲੇ ਨਹੀਂ ਹੁੰਦੇ; ਉਹ ਉਹਨਾਂ ਟੀਮਾਂ ਲਈ 'ਟੋਟਲ ਕਾਸਟ ਆਫ ਓਨਰਸ਼ਿਪ' (total cost of ownership) ਨੂੰ ਪ੍ਰਭਾਵਿਤ ਕਰਦੇ ਹਨ ਜੋ ਪਹਿਲਾਂ ਹੀ ਉਸ ਸਟੈਕ ਦੀ ਵਰਤੋਂ ਕਰ ਰਹੀਆਂ ਹਨ।

Novita ਅਤੇ StreamLake 'ਤੇ ਕੀ ਬਦਲਿਆ ਹੈ

ਨਾ ਤਾਂ Novita ਅਤੇ ਨਾ ਹੀ StreamLake ਕੀਮਤਾਂ ਨੂੰ ਸਥਿਰ ਮੰਨਦੇ ਹਨ। ਦੋਵਾਂ ਨੇ ਆਪਣੀਆਂ ਮਾਡਲ ਦਰਾਂ ਨੂੰ ਅਪਡੇਟ ਕੀਤਾ ਹੈ, ਅਤੇ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਮਾਡਲ ਟਾਇਰ ਅਤੇ ਟੋਕਨ ਦੀ ਕਿਸਮ ਦੇ ਅਨੁਸਾਰ ਵੱਖ-ਵੱਖ ਹੁੰਦੀਆਂ ਹਨ। ਜਦੋਂ ਤੱਕ ਤੁਸੀਂ ਨਵੇਂ ਰੇਟ ਕਾਰਡਾਂ ਦੇ ਅਨੁਸਾਰ ਉਹਨਾਂ ਦੀ ਪੁਸ਼ਟੀ ਨਹੀਂ ਕਰ ਲੈਂਦੇ, ਉਦੋਂ ਤੱਕ ਤੁਹਾਨੂੰ ਆਪਣੇ ਮੌਜੂਦਾ ਪ੍ਰੋਜੈਕਟ ਅਨੁਮਾਨਾਂ ਨੂੰ ਪੁਰਾਣਾ (stale) ਮੰਨਣਾ ਚਾਹੀਦਾ ਹੈ।

Novita ਲਈ, ਧਿਆਨ ਨਾਲ ਦੇਖੋ ਕਿ ਕੀ ਇਹ ਬਦਲਾਅ ਉਹਨਾਂ frontier ਮਾਡਲਾਂ 'ਤੇ ਲਾਗੂ ਹੁੰਦੇ ਹਨ ਜੋ ਤੁਸੀਂ ਵਰਤ ਰਹੇ ਹੋ ਜਾਂ ਉਹਨਾਂ ਸਸਤੇ fallback ਵਿਕਲਪਾਂ 'ਤੇ ਜੋ ਤੁਹਾਡੇ ਬਲਕ ਟ੍ਰੈਫਿਕ ਨੂੰ ਸੰਭਾਲਦੇ ਹਨ। ਐਗਰੀਗੇਟਰ ਅਕਸਰ ਆਪਣੀਆਂ inference ਲਾਗਤਾਂ ਨੂੰ ਦਰਸਾਉਣ ਲਈ ਕੀਮਤਾਂ ਨੂੰ ਐਡਜਸਟ ਕਰਦੇ ਹਨ, ਜੋ ਮਾਡਲਾਂ ਦੇ ਅਪਡੇਟ ਹੋਣ ਜਾਂ ਹਾਰਡਵੇਅਰ ਸਮਝੌਤਿਆਂ ਦੇ ਬਦਲਣ ਨਾਲ ਬਦਲਦੀਆਂ ਰਹਿੰਦੀਆਂ ਹਨ। ਇੱਕ ਮਾਡਲ ਜੋ ਕੱਲ੍ਹ ਤੱਕ ਤੁਹਾਡੇ ਲਈ ਕਿਫਾਇਤੀ ਸੀ, ਉਹ ਹੁਣ ਵੱਖਰੇ ਬ੍ਰੈਕਟ ਵਿੱਚ ਹੋ ਸਕਦਾ ਹੈ।

StreamLake ਦੇ ਬਦਲਾਅ ਸਭ ਤੋਂ ਵੱਧ ਉਦੋਂ ਮਹੱਤਵਪੂਰਨ ਹੁੰਦੇ ਹਨ ਜੇਕਰ ਤੁਸੀਂ ਇਸਦੇ ਕਲਾਉਡ ਇਨਫਰਾਸਟ੍ਰਕਚਰ ਦੇ ਨਾਲ LLM ਦੀ ਵਰਤੋਂ ਕਰ ਰਹੇ ਹੋ। ਮਾਡਲ ਦੀਆਂ ਕੀਮਤਾਂ ਵਿੱਚ ਬਦਲਾਅ ਤੁਹਾਡੇ ਕੁੱਲ ਮਹੀਨਾਵਾਰ ਖ਼ਰਚੇ ਨੂੰ ਬਦਲ ਸਕਦਾ ਹੈ, ਭਾਵੇਂ ਤੁਹਾਡੀ ਕੰਪਿਊਟ ਅਤੇ ਸਟੋਰੇਜ ਲਾਗਤ ਸਥਿਰ ਰਹੇ। ਇੱਕ ਵੱਡੇ ByteDance ਇਕੋਸਿਸਟਮ ਦੇ ਅੰਦਰ StreamLake ਦੀ ਵਰਤੋਂ ਕਰਨ ਵਾਲੀਆਂ ਟੀਮਾਂ ਨੂੰ ਇਹ ਜਾਂਚਣ ਦੀ ਲੋੜ ਹੈ ਕਿ ਕੀ ਨਵੀਆਂ ਦਰਾਂ ਉਹਨਾਂ ਦੇ ਮੌਜੂਦਾ ਕੰਟਰੈਕਟਾਂ ਨੂੰ ਪ੍ਰਭਾਵਿਤ ਕਰਦੀਆਂ ਹਨ ਜਾਂ ਸਿਰਫ਼ pay-as-you-go ਟਾਇਰਾਂ ਨੂੰ।

ਆਪਣੇ ਸਟੈਕ 'ਤੇ ਪ੍ਰਭਾਵ ਦੀ ਜਾਂਚ (Audit) ਕਿਵੇਂ ਕਰੀਏ

ਤੁਹਾਡਾ ਪਹਿਲਾ ਕਦਮ ਪਿਛਲੇ ਤਿੰਤੀ ਦਿਨਾਂ ਦੇ ਵਰਤੋਂ ਲੌਗਸ (usage logs) ਕੱਢਣਾ ਅਤੇ ਉਹਨਾਂ 'ਤੇ ਨਵੀਆਂ ਦਰਾਂ ਲਾਗੂ ਕਰਨਾ ਹੈ। ਸਿਰਫ਼ ਮੁੱਖ ਪ੍ਰਤੀਸ਼ਤ ਨੂੰ ਨਾ ਦੇਖੋ। ਇਸਨੂੰ ਵੱਖ-ਵੱਖ ਹਿੱਸਿਆਂ ਵਿੱਚ ਵੰਡੋ:

  • ਇਨਪੁੱਟ ਟੋਕਨ ਦਰਾਂ ਬਨਾਮ ਆਊਟਪੁੱਟ ਟੋਕਨ ਦਰਾਂ
  • ਕੰਟੈਕਸਟ ਕੈਸ਼ਿੰਗ (context caching) ਚਾਰਜਿਸ, ਜੇਕਰ ਕੋਈ ਹੋਵੇ