Vercel ਨੇ “AI Gateway Budgets” ਜੋੜ ਦਿੱਤੇ ਹਨ, ਜੋ ਕਿ ਪ੍ਰਤੀ-ਪ੍ਰੋਜੈਕਟ ਅਤੇ ਪ੍ਰਤੀ-API-key ਖਰਚੇ ਦੀ ਇੱਕ ਸੀਮਾ (cap) ਹੈ। ਇਹ ਇੱਕ ਪਹਿਲਾਂ ਤੋਂ ਨਿਰਧਾਰਤ ਸੀਮਾ ਤੱਕ ਪਹੁੰਚਣ ਤੋਂ ਬਾਅਦ ਹੋਰ large-language-model (LLM) ਕਾਲਾਂ ਨੂੰ ਆਪਣੇ ਆਪ ਰੋਕ ਦਿੰਦਾ ਹੈ। ਇਸ ਫੀਚਰ ਦਾ ਮਕਸਦ ਅਜਿਹੇ AI ਖਰਚਿਆਂ ਨੂੰ ਰੋਕਣਾ ਹੈ ਜੋ ਕਿਸੇ ਇੱਕ ਗਲਤ ਲੂਪ ਜਾਂ ਰੀਟ੍ਰਾਈ ਬੱਗ (retry bug) ਕਾਰਨ ਤੇਜ਼ੀ ਨਾਲ ਵਧ ਸਕਦੇ ਹਨ।
ਇੱਕ ਸਮਰਪਿਤ AI-ਸਿਰਫ਼ ਕਿੱਲ ਸਵਿੱਚ (kill switch) ਕਿਉਂ ਮਹੱਤਵਪੂਰਨ ਹੈ
Vercel ਦੇ AI Gateway ਦੀ ਵਰਤੋਂ ਕਰਨ ਵਾਲੇ ਡਿਵੈਲਪਰ LLM ਰਿਕੁਐਸਟਾਂ ਨੂੰ Vercel ਦੇ ਇਨਫਰਾਸਟ੍ਰਕਚਰ ਰਾਹੀਂ ਭੇਜਦੇ ਹਨ, ਅਤੇ ਉਹਨਾਂ ਮਾਡਲਾਂ ਦੁਆਰਾ ਵਰਤੇ ਗਏ ਟੋਕਨਾਂ ਲਈ ਭੁਗਤਾਨ ਕਰਦੇ ਹਨ। ਇੱਕ ਸਿੰਗਲ ਪ੍ਰੋਂਪਟ-ਇੰਜੈਕਸ਼ਨ ਲੂਪ ਜਾਂ ਗਲਤ ਤਰੀਕੇ ਨਾਲ ਕੌਂਫਿਗਰ ਕੀਤੀ ਰੀਟ੍ਰਾਈ ਪਾਲਿਸੀ ਕੁਝ ਹੀ ਮਿੰਟਾਂ ਵਿੱਚ ਹਜ਼ਾਰਾਂ ਟੋਕਨ ਰਿਕੁਐਸਟਾਂ ਪੈਦਾ ਕਰ ਸਕਦੀ ਹੈ, ਜਿਸ ਨਾਲ ਇੱਕ ਛੋਟਾ ਬਜਟ ਪੰਜ-ਅੰਕਾਂ ਦੇ ਬਿੱਲ ਵਿੱਚ ਬਦਲ ਸਕਦਾ ਹੈ। Vercel 'ਤੇ ਮੌਜੂਦਾ ਖਰਚਾ-ਪ੍ਰਬੰਧਨ (spend-management) ਟੂਲ ਅਕਾਊਂਟ ਪੱਧਰ 'ਤੇ ਕੰਮ ਕਰਦੇ ਹਨ ਅਤੇ ਸਾਰੇ ਆਊਟਬਾਊਂਡ ਟ੍ਰੈਫਿਕ ਨੂੰ ਰੋਕਦੇ ਹਨ, ਨਾ ਕਿ ਸਿਰਫ਼ AI ਕਾਲਾਂ ਨੂੰ। ਇਹ ਅਣਸੂਖਮ ਤਰੀਕਾ ਕਿਸੇ ਸਾਈਟ ਦੇ ਫਰੰਟ-ਐਂਡ ਜਾਂ API ਨੂੰ ਵੀ ਖਰਾਬ ਕਰ ਸਕਦਾ ਹੈ, ਭਾਵੇਂ ਕਿ AI ਦੀ ਵਰਤੋਂ ਹੀ ਇਕਲੌਤੀ ਸਮੱਸਿਆ ਹੋਵੇ।
AI Gateway Budgets ਆਮ ਖਰਚਾ ਕੰਟਰੋਲ ਤੋਂ ਕਿਵੇਂ ਵੱਖਰੇ ਹਨ
- Scope – ਬਜਟ ਸਿਰਫ਼ AI ਟੋਕਨ ਖਰਚੇ 'ਤੇ ਲਾਗੂ ਹੁੰਦੇ ਹਨ, ਜਿਸ ਨਾਲ ਅਕਾਊਂਟ ਦੇ ਬਾਕੀ ਹਿੱਸੇ ਨੂੰ ਕੋਈ ਅਸਰ ਨਹੀਂ ਪੈਂਦਾ।
- Granularity – ਸੀਮਾਵਾਂ ਨੂੰ ਟੀਮ, ਪ੍ਰੋਜੈਕਟ, ਜਾਂ ਵਿਅਕਤੀਗਤ API-key ਪੱਧਰ 'ਤੇ ਸੈੱਟ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ।
- Behavior – ਜਦੋਂ ਸੀਮਾ ਪੂਰੀ ਹੋ ਜਾਂਦੀ ਹੈ, ਤਾਂ ਗੇਟਵੇ HTTP 402 “Payment Required” ਰਿਸਪਾਂਸ ਦਿੰਦਾ ਹੈ, ਜੋ ਇਹ ਸੰਕੇਤ ਦਿੰਦਾ ਹੈ ਕਿ ਬਜਟ ਖਤਮ ਹੋਣ ਕਾਰਨ ਰਿਕੁਐਸਟ ਨੂੰ ਰੋਕ ਦਿੱਤਾ ਗਿਆ ਹੈ।
- Isolation – ਇੱਕ ਸਿੰਗਲ ਪ੍ਰੋਜੈਕਟ ਜੋ ਆਪਣੀ ਸੀਮਾ ਤੱਕ ਪਹੁੰਚ ਜਾਂਦਾ ਹੈ, ਉਹ ਟੀਮ ਦੀ ਬਾਕੀ ਬਚੀ ਹੋਈ ਰਾਸ਼ੀ ਨੂੰ ਖਤਮ ਨਹੀਂ ਕਰ ਸਕਦਾ, ਜਿਸ ਨਾਲ ਦੂਜੇ ਪ੍ਰੋਜੈਕਟਾਂ ਨੂੰ ਨੁਕਸਾਨ ਤੋਂ ਬਚਾਇਆ ਜਾ ਸਕਦਾ ਹੈ।
ਕੁਝ ਮਿੰਟਾਂ ਵਿੱਚ ਬਜਟ ਸੈੱਟ ਕਰਨਾ
Vercel ਤੁਹਾਨੂੰ ਵੈੱਬ ਡੈਸ਼ਬੋਰਡ ਜਾਂ ਕਮਾਂਡ-ਲਾਈਨ ਇੰਟਰਫੇਸ (CLI) ਰਾਹੀਂ ਬਜਟ