ਖੇਤਰੀ ਇਨਫਰੈਂਸ (Regional inference): ਕੰਪਿਊਟ ਸਟੈਪ ਨੂੰ EU ਦੇ ਅੰਦਰ ਰੱਖਣਾ

ਉਹ ਉਦਯੋਗਿਕ ਸੰਸਥਾਵਾਂ (Enterprises) ਜਿਨ੍ਹਾਂ ਨੂੰ ਨਿੱਜੀ ਜਾਂ ਵਿੱਤੀ ਡੇਟਾ ਯੂਰਪੀਅਨ ਸਰਹੱਦਾਂ ਦੇ ਅੰਦਰ ਰੱਖਣਾ ਲਾਜ਼ਮੀ ਹੈ, ਉਹ ਹੁਣ API ਕਾਲਾਂ ਨੂੰ api.eu.mistral.ai ਵੱਲ ਮੋੜ ਸਕਦੀਆਂ ਹਨ। ਮਾਡਲ ਦੀ ਪ੍ਰੋਸੈਸਿੰਗ – ਉਹ ਸਮਾਂ ਜਦੋਂ ਰਿਕਵੈਸਟ ਹਾਰਡਵੇਅਰ 'ਤੇ ਚੱਲਦੀ ਹੈ – EU ਵਿੱਚ ਹੀ ਰਹਿੰਦੀ ਹੈ, ਜੋ ਕਿ ਕਈ ਡੇਟਾ-ਰਿਜ਼ੀਡੈਂਸੀ ਨਿਯਮਾਂ ਨੂੰ ਪੂਰਾ ਕਰਦੀ ਹੈ। ਸੰਯੁਕਤ ਰਾਜ ਅਮਰੀਕਾ ਲਈ ਇੱਕ ਸਮਾਨ ਐਂਡਪੁਆਇੰਟ (api.us.mistral.ai) ਅਮਰੀਕੀ ਗਾਹਕਾਂ ਲਈ ਉਹੀ ਭੂਗੋਲਿਕ ਗਾਰੰਟੀ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ।

ਇਸਦਾ ਲਾਭ ਪੂਰੀ ਤਰ੍ਹਾਂ ਅਲੱਗ-ਥੱਲੱਗ ਹੋਣਾ ਨਹੀਂ ਹੈ। Mistral ਦੇ ਦਸਤਾਵੇਜ਼ਾਂ ਅਨੁਸਾਰ, ਅਕਾਊਂਟ ਮੈਟਾਡਾਟਾ, API keys, ਬਿਲਿੰਗ ਰਿਕਾਰਡ ਅਤੇ ਵਰਤੋਂ ਦੇ ਅੰਕੜੇ ਅਜੇ ਵੀ ਚੁਣੇ ਹੋਏ ਖੇਤਰ ਤੋਂ ਬਾਹਰ ਸੰਭਾਲੇ ਜਾ ਸਕਦੇ ਹਨ। ਰਿਕਵੈਸਟ ਲੌਗਸ ਨੂੰ ਸਟੋਰ ਹੋਣ ਤੋਂ ਰੋਕਣ ਲਈ, ਉਪਭੋਗਤਾਵਾਂ ਨੂੰ “Zero Data Retention” ਫਲੈਗ ਨੂੰ ਇਨੇਬਲ ਕਰਨਾ ਹੋਵੇਗਾ; ਨਹੀਂ ਤਾਂ, ਰਿਕਵੈਸਟ ਮੈਟਾਡਾਟਾ ਕਿਤੇ ਹੋਰ ਰੱਖਿਆ ਜਾ ਸਕਦਾ ਹੈ। ਖੇਤਰੀ ਵਿਕਲਪ ਸਟੈਂਡਰਡ ਪ੍ਰਤੀ-ਟੋਕਨ ਕੀਮਤ ਤੋਂ ਉੱਪਰ 10% ਸਰਚਾਰਜ ਜੋੜਦਾ ਹੈ।

ਖੇਤਰੀ ਐਂਡਪੁਆਇੰਟ ਅਜੇ ਕੀ ਨਹੀਂ ਕਰ ਸਕਦੇ

ਅੱਜ EU ਐਂਡਪੁਆਇੰਟ ਸਿਰਫ਼ stateless ਆਪਰੇਸ਼ਨਾਂ ਦਾ ਸਮਰਥਨ ਕਰਦਾ ਹੈ। “Stateless” ਦਾ ਮਤਲਬ ਹੈ ਕਿ ਹਰ ਰਿਕਵੈਸਟ ਨੂੰ ਸੁਤੰਤਰ ਰੂਪ ਵਿੱਚ ਪ੍ਰੋਸੈਸ ਕੀਤਾ ਜਾਂਦਾ ਹੈ, ਬਿਨਾਂ ਕਿਸੇ ਵਿਚਕਾਰਲੇ ਡੇਟਾ ਨੂੰ ਕਾਲਾਂ ਦੇ ਵਿਚਕਾਰ ਰੱਖੇ। ਇਹ ਪਾਬੰਦੀ ਕਈ ਉੱਚ-ਪੱਧਰੀ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਨੂੰ ਰੋਕਦੀ ਹੈ:

  • AI agents ਜੋ ਕਈ ਕਾਲਾਂ ਨੂੰ ਇੱਕ ਮਲਟੀ-ਸਟੈਪ ਰੀਜ਼ਨਿੰਗ ਵਰਕਫਲੋ ਵਿੱਚ ਜੋੜਦੇ ਹਨ।
  • Batch processing jobs ਜੋ ਵੱਡੇ ਡੇਟਾ ਸੈੱਟਾਂ 'ਤੇ ਅਸਿੰਕਰੋਣਤ (asynchronously) ਰੂਪ ਵਿੱਚ ਚੱਲਦੇ ਹਨ।
  • Files API ਜੋ ਦਸਤਾਵੇਜ਼ਾਂ ਜਾਂ ਹੋਰ ਐਸੇਟਸ ਨੂੰ ਅਪਲੋਡ ਕਰਨ ਲਈ ਵਰਤੀ ਜਾਂਦੀ ਹੈ।

ਲਾਪਤਾ ਪਰਸਿਸਟੈਂਟ ਸਟੋਰੇਜ (persistent storage) ਤਕਨੀਕੀ ਰੁਕਾਵਟ ਜਾਪਦੀ ਹੈ। ਇਸ ਤੋਂ ਇਲਾਵਾ, EU ਐਂਡਪੁਆਇੰਟ 'ਤੇ ਉਪਲਬਧ ਮਾਡਲਾਂ ਦਾ ਕੈਟਾਲਾਗ ਗਲੋਬਲ ਸੈੱਟ ਤੋਂ ਵੱਖਰਾ ਹੋ ਸਕਦਾ ਹੈ; ਗਾਹਕਾਂ ਨੂੰ ਇਹ ਦੇਖਣ ਲਈ ਐਂਡਪੁਆਇੰਟ ਨੂੰ ਕੁਐਰੀ ਕਰਨੀ ਪਵੇਗੀ ਕਿ ਉੱਥੇ ਅਸਲ ਵਿੱਚ ਕਿਹੜੇ ਮਾਡਲ ਤੈਨਾਤ (deployed) ਹਨ।

Priority tier: ਲੇਟੈਂਸੀ-ਕ੍ਰਿਟੀਕਲ ਵਰਕਲੋਡਸ ਲਈ ਇੱਕ ਤੇਜ਼ ਲੇਨ

Mistral ਦਾ Priority tier, ਜੋ ਕਿ ਵਰਤਮਾਨ ਵਿੱਚ ਓਪਨ ਬੀਟਾ ਵਿੱਚ ਹੈ, ਇਹ ਵਾਅਦਾ ਕਰਦਾ ਹੈ ਕਿ ਜਦੋਂ ਸਿਸਟਮ ਰੁੱਝਿਆ ਹੋਇਆ ਹੁੰਦਾ ਹੈ ਤਾਂ ਇੱਕ ਭੁਗਤਾਨ ਕਰਨ ਵਾਲੇ ਗਾਹਕ ਦੀਆਂ ਰਿਕਵੈਸਟਾਂ ਸਟੈਂਡਰਡ ਟ੍ਰੈਫਿਕ ਤੋਂ ਅੱਗੇ ਨਿਕਲ ਜਾਂਦੀਆਂ ਹਨ। ਇਹ ਤੀਰ (tier) ਤਿੰਨ ਐਂਟਰਪ੍ਰਾਈਜ਼-ਗ੍ਰੇਡ ਗਾਰੰਟੀਆਂ ਨੂੰ ਇਕੱਠਾ ਕਰਦਾ ਹੈ:

  • Uptime SLA – ਇੱਕ ਇਕਰਾਰਨਾਮੇ ਅਨੁਸਾਰ 99.5% ਉਪਲਬਧਤਾ, ਮਹੀਨੇ ਵਿੱਚ ਲਗਭਗ 3.5 ਘੰਟੇ ਦੀ ਇਜਾਜ਼ਤਸ਼ੁਦਾ ਡਾਊਨਟਾਈਮ। ਸਟੈਂਡਰਡ ਤੀਰ ਕੋਈ ਰਸਮੀ ਅਪਟਾਈਮ ਵਾਅਦਾ ਨਹੀਂ ਕਰਦਾ।
  • Predictable latency – ਕਾਲਰ ਇੱਕ service_tier ਪੈਰਾਮੀਟਰ ਸੈੱਟ ਕਰ ਸਕਦੇ ਹਨ ਜੋ ਸਿਸਟਮ ਨੂੰ ਰਿਕਵੈਸਟ ਨੂੰ ਪਹਿਲ ਦੇਣ ਦਾ ਸੰਕੇਤ ਦਿੰਦਾ ਹੈ, ਜਿਸ ਨਾਲ ਰਿਸਪਾਂਸ ਸਮੇਂ ਵਿੱਚ ਵੈਰੀਐਂਸ ਘਟ ਜਾਂਦੀ ਹੈ।
  • Premium pricing – ਕਿਸੇ ਵੀ ਪ੍ਰੋਂਪਟ-ਕੈਸ਼ਿੰਗ ਡਿਸਕਾਊਂਟ ਲਾਗੂ ਹੋਣ ਤੋਂ ਬਾਅਦ ਇਹ ਤੀਰ 75% ਸਰਚਾਰਜ (ਬੇਸ ਕੀਮਤ ਦਾ 1.75×) ਜੋੜਦਾ ਹੈ।

Priority tier ਤੱਕ ਪਹੁੰਚ ਸੈਲਫ-ਸਰਵਿਸ ਨਹੀਂ ਹੈ; ਕਾਰੋਬਾਰਾਂ ਨੂੰ Mistral ਦੀ ਸੇਲਜ਼ ਟੀਮ ਨਾਲ ਇਕਰਾਰਨਾਮੇ ਲਈ ਗੱਲਬਾਤ ਕਰਨੀ ਪਵੇਗੀ ਅਤੇ ਕਸਟਮ ਰੇਟ ਲਿਮਿਟਾਂ 'ਤੇ ਸਹਿਮਤ ਹੋਣਾ ਪਵੇਗਾ। ਇਹ ਪੇਸ਼ਕਸ਼ ਰੀਅਲ-ਟਾਈਮ ਐਪਲੀਕੇਸ਼ਨਾਂ ਜਿਵੇਂ ਕਿ ਲਾਈਵ ਚੈਟਬੋਟਸ ਨੂੰ ਨਿਸ਼ਾਨਾ ਬਣਾਉਂਦੀ ਹੈ, ਜਿੱਥੇ ਕੁਝ ਵਾਧੂ ਮਿਲੀਸੈਕਿੰਡ ਰੈਵੇਨਿਊ ਨੂੰ ਪ੍ਰਭਾਵਿਤ ਕਰ ਸਕਦੇ ਹਨ।

Third-party ਮਾਡਲਾਂ ਨਾਲ ਪਲੇਟਫਾਰਮ ਦਾ ਵਿਸਥਾਰ

Mistral ਆਪਣੇ ਆਪ ਨੂੰ ਸਿਰਫ਼ ਇੱਕ ਸਿੰਗਲ-ਮਾਡਲ ਪ੍ਰੋਵਾਈਡਰ ਤੋਂ ਵੱਧ ਵਜੋਂ ਪੇਸ਼ ਕਰ ਰਿਹਾ ਹੈ। ਬੁਨਿਆਦੀ ਢਾਂਚਾ ਹੁਣ ਬਾਹਰੀ ਡਿਵੈਲਪਰਾਂ ਤੋਂ ਮਾਡਲ ਸਵੀਕਾਰ ਕਰਦਾ ਹੈ, ਜਿਸ ਵਿੱਚ ਪਹਿਲਾ ਚੀਨੀ ਫਰਮ Z.ai ਤੋਂ GLM-5.2 ਹੈ। ਵਧੇ ਹੋਏ ਕੰਪਿਊਟ ਡਿਮਾਂਡ ਅਤੇ ਨਵੇਂ ਯੂਰਪੀਅਨ ਡੇਟਾ ਸੈਂਟਰਾਂ ਦਾ ਸਮਰਥਨ ਕਰਨ ਲਈ, Mistral “European Compute Units” ਵੇਚ ਰਿਹਾ ਹੈ – ਵੱਡੀਆਂ ਉਦਯੋਗਿਕ ਸੰਸਥਾਵਾਂ ਤੋਂ ਬਹੁ-ਸਾਲਾ ਖਰੀਦ ਵਚਨਬੱਧਤਾਵਾਂ ਜੋ ਖੇਤਰੀ ਹਾਰਡਵੇਅਰ ਦੇ ਨਿਰਮਾਣ ਲਈ ਫੰਡ ਪ੍ਰਦਾਨ ਕਰਦੀਆਂ ਹਨ।

ਦਾਅਵ ਅਤੇ ਸੰਭਾਵੀ ਵਿਰੋਧ

ਨਿਯਮਿਤ ਫਰਮਾਂ (Regulated firms) ਕੰਪਿਊਟ ਨੂੰ EU ਦੇ ਅੰਦਰ ਰੱਖ ਕੇ ਕੰਪਲਾਇੰਸ ਲਈ ਇੱਕ ਸਪੱਸ਼ਟ ਰਸਤਾ ਪ੍ਰਾਪਤ ਕਰਦੀਆਂ ਹਨ, ਅਤੇ ਲੇਟੈਂਸੀ-ਸੰਵੇਦਨਸ਼ੀਲ ਸੇਵਾਵਾਂ Priority tier ਨਾਲ ਪ੍ਰਦਰਸ਼ਨ ਨੂੰ ਸਥਿਰ ਕਰ ਸਕਦੀਆਂ ਹਨ। ਹਾਲਾਂਕਿ, ਵਾਧੂ ਲਾਗਤਾਂ ਛੋਟੇ ਖਿਡਾਰੀਆਂ ਨੂੰ ਰੋਕ ਸਕਦੀਆਂ ਹਨ ਜੋ 10% ਜਾਂ 75% ਪ੍ਰੀਮੀਅਮ ਨੂੰ ਸਹਿਣ ਨਹੀਂ ਕਰ ਸਕਦੇ।

ਇਹ ਰੋਲਆਊਟ ਦਰਸਾਉਂਦਾ ਹੈ ਕਿ Mistral ਇੱਕ ਅਜਿਹੇ ਬਾਜ਼ਾਰ 'ਤੇ ਦਾਅ ਲਗਾ ਰਿਹਾ ਹੈ ਜੋ ਡਾਟਾ-ਰਿਜ਼ੀਡੈਂਸੀ ਅਤੇ ਅਲਟਰਾ-ਲੋ ਲੇਟੈਂਸੀ ਨੂੰ ਇੰਨੀ ਅਹਿਮੀਅਤ ਦਿੰਦਾ ਹੈ ਕਿ ਉਹ ਇਸ ਲਈ ਪ੍ਰੀਮੀਅਮ ਅਦਾ ਕਰਨ ਲਈ ਤਿਆਰ ਹੈ। ਕੀ ਕੀਮਤ ਅਤੇ ਕਾਰਜਸ਼ੀਲ ਪਾਬੰਦੀਆਂ ਸਵੀਕਾਰਯੋਗ ਸਾਬਤ ਹੁੰਦੀਆਂ ਹਨ, ਇਹ ਨਿਰਧਾਰਤ ਕਰੇਗਾ ਕਿ ਨਵੇਂ ਟਾਇਰ ਇੱਕ ਮੁਕਾਬਲੇਬਾਜ਼ੀ ਦਾ ਫਾਇਦਾ ਬਣਦੇ ਹਨ ਜਾਂ ਇੱਕ ਵਿਸ਼ੇਸ਼ ਪੇਸ਼ਕਸ਼।