ਮੈਂ ਆਪਣੇ AI ਫੀਚਰ ਨੂੰ ਆਪਣੀ ਜੇਬ ਖਾਲੀ ਕਰਨ ਤੋਂ ਕਿਵੇਂ ਰੋਕਿਆ
ਮੈਂ ਆਪਣੇ ਸਾਈਡ ਪ੍ਰੋਜੈਕਟ ਵਿੱਚ ਇੱਕ AI chatbot ਜੋੜਿਆ। ਮੈਨੂੰ ਲੱਗਿਆ ਕਿ ਇਹ ਸੌਖਾ ਹੋਵੇਗਾ।
ਮੈਂ ਗਲਤ ਸੀ।
ਦੋ ਹਫ਼ਤਿਆਂ ਬਾਅਦ, ਮੇਰਾ OpenAI ਬਿੱਲ ਇੱਕ ਹਫ਼ਤੇ ਲਈ $87 ਤੱਕ ਪਹੁੰਚ ਗਿਆ। ਮੇਰੇ ਕੋਲ ਸਿਰਫ਼ 50 ਯੂਜ਼ਰਸ ਸਨ। ਮੈਂ ਇੱਕ ਸ਼ੌਕੀਆ ਪ੍ਰੋਜੈਕਟ 'ਤੇ ਪੈਸੇ ਗਵਾ ਰਿਹਾ ਸੀ।
ਮੈਂ ਲਾਗਤਾਂ ਨੂੰ ਠੀਕ ਕਰਨ ਲਈ ਕਈ ਤਰੀਕੇ ਅਜ਼ਮਾਏ। ਕੁਝ ਅਸਫਲ ਰਹੇ।
- Rate limiting: ਮੈਂ ਰਿਕੁਐਸਟਾਂ 'ਤੇ ਸੀਮਾ ਲਗਾ ਦਿੱਤੀ। ਯੂਜ਼ਰਸ ਨੂੰ ਇਹ ਪਸੰਦ ਨਹੀਂ ਆਇਆ ਅਤੇ ਉਹ ਚਲੇ ਗਏ।
- Truncating context: ਟੋਕਨ ਬਚਾਉਣ ਲਈ ਮੈਂ ਡੇਟਾ ਘਟਾ ਦਿੱਤਾ। ਜਵਾਬ ਗਲਤ ਹੋਣ ਲੱਗੇ।
- Simple caching: ਮੈਂ ਬਿਲਕੁਲ ਇੱਕੋ ਜਿਹੇ ਸਵਾਲਾਂ ਨੂੰ ਕੈਸ਼ (cache) ਕੀਤਾ। ਯੂਜ਼ਰਸ ਬਹੁਤ ਘੱਟ ਹੀ ਇੱਕੋ ਸਵਾਲ ਦੋ ਵਾਰ ਪੁੱਛਦੇ ਹਨ, ਇਸ ਲਈ ਇਹ ਤਰੀਕਾ ਫੇਲ ਹੋ ਗਿਆ।
ਮੈਨੂੰ ਅਹਿਸਾਸ ਹੋਇਆ ਕਿ ਸਮੱਸਿਆ ਵਾਧੂ (redundant) ਕੰਮ ਦੀ ਸੀ। LLM ਵਾਰ-ਵਾਰ ਇੱਕੋ ਹੀ ਵਿਚਾਰਾਂ ਨੂੰ ਪ੍ਰੋਸੈਸ ਕਰ ਰਿਹਾ ਸੀ।
ਮੈਂ ਇਸਨੂੰ ਤਿੰਨ ਕਦਮਾਂ ਨਾਲ ਠੀਕ ਕੀਤਾ:
Semantic Caching ਮੈਂ ਬਿਲਕੁਲ ਇੱਕੋ ਜਿਹੇ ਸ਼ਬਦਾਂ ਦੀ ਭਾਲ ਕਰਨਾ ਬੰਦ ਕਰ ਦਿੱਤਾ। ਮੈਂ ਸਮਾਨ ਸਵਾਲਾਂ ਨੂੰ ਲੱਭਣ ਲਈ embeddings ਦੀ ਵਰਤੋਂ ਕਰਨੀ ਸ਼ੁਰੂ ਕਰ ਦਿੱਤੀ। ਜੇਕਰ ਕੋਈ ਨਵਾਂ ਸਵਾਲ ਪੁਰਾਣੇ ਸਵਾਲ ਨਾਲ 92% ਸਮਾਨ ਹੈ, ਤਾਂ ਮੈਂ ਕੈਸ਼ ਕੀਤਾ ਹੋਇਆ ਜਵਾਬ ਦੇ ਦਿੰਦਾ ਹਾਂ। ਇਹ ਹਿੱਟ ਰੇਟ 40% ਤੱਕ ਪਹੁੰਚ ਗਿਆ ਅਤੇ ਮੇਰੀ ਲਾਗਤ ਅੱਧੀ ਹੋ ਗਈ।
Smart Model Routing ਮੈਂ ਹਰ ਚੀਜ਼ ਲਈ GPT-4 ਦੀ ਵਰਤੋਂ ਕਰਨਾ ਬੰਦ ਕਰ ਦਿੱਤਾ। ਮੈਂ ਇੱਕ router ਬਣਾਇਆ। ਜੇਕਰ ਸਵਾਲ ਛੋਟਾ ਅਤੇ ਸਧਾਰਨ ਹੈ, ਤਾਂ ਮੈਂ ਸਸਤੇ ਪ੍ਰੋਵਾਈਡਰ ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹਾਂ। ਜੇਕਰ ਸਵਾਲ ਗੁੰਝਲਦਾਰ ਹੈ, ਤਾਂ ਮੈਂ ਇਸਨੂੰ ਇੱਕ premium model ਕੋਲ ਭੇਜ ਦਿੰਦਾ ਹਾਂ। ਜ਼ਿਆਦਾਤਰ ਸਵਾਲਾਂ ਲਈ ਉੱਚ-ਪੱਧਰੀ (high-end) ਮਾਡਲ ਦੀ ਲੋੜ ਨਹੀਂ ਹੁੰਦੀ।
Prompt Trimming ਮੈਂ ਮਾਡਲ ਨੂੰ ਭੇਜੇ ਜਾਣ ਵਾਲੇ context ਦੀ ਮਾਤਰਾ ਘਟਾ ਦਿੱਤੀ। ਮੈਂ ਸਿਰਫ਼ ਸਭ ਤੋਂ ਮਹੱਤਵਪੂਰਨ ਡੇਟਾ ਚੰਕਸ (chunks) ਚੁਣ ਕੇ context ਦੇ ਆਕਾਰ ਨੂੰ 60% ਘਟਾ ਦਿੱਤਾ।
ਨਤੀਜੇ:
- ਹਫ਼ਤਾਵਾਰੀ ਲਾਗਤ $40 ਤੋਂ ਘਟ ਕੇ $7 ਰਹਿ ਗਈ।
- ਕੈਸ਼ (cache) ਕਾਰਨ ਜਵਾਬ ਦੇਣ ਦਾ ਸਮਾਂ ਤੇਜ਼ ਹੋ ਗਿਆ।
- ਯੂਜ਼ਰ ਸੰਤੁਸ਼ਟੀ ਉੱਚੀ ਰਹੀ।
ਸਿੱਖੇ ਗਏ ਸਬਕ:
- ਪਹਿਲੇ ਦਿਨ ਤੋਂ ਹੀ semantic cache ਬਣਾਓ।
- ਆਪਣੇ ਕਲਾਉਡ ਅਕਾਊਂਟ 'ਤੇ ਤੁਰੰਤ cost alerts ਦੀ ਵਰਤੋਂ ਕਰੋ।
- ਸਧਾਰਨ FAQ ਕੰਮਾਂ ਲਈ ਮਹਿੰਗੇ ਮਾਡਲਾਂ ਦੀ ਵਰਤੋਂ ਨਾ ਕਰੋ।
AI ਜੋੜਨਾ ਸਿਰਫ਼ prompts ਬਾਰੇ ਨਹੀਂ ਹੈ। ਇਹ ਅਰਥ ਸ਼ਾਸਤਰ (economics) ਬਾਰੇ ਹੈ। ਹਰ API call ਦੀ ਅਸਲ ਕੀਮਤ ਹੁੰਦੀ ਹੈ। ਜੇਕਰ ਤੁਸੀਂ ਕੁਸ਼ਲਤਾ (efficiency) ਲਈ ਡਿਜ਼ਾਈਨ ਨਹੀਂ ਕਰਦੇ, ਤਾਂ ਤੁਹਾਡਾ ਪ੍ਰੋਜੈਕਟ ਫੇਲ ਹੋ ਜਾਵੇਗਾ।
ਤੁਸੀਂ ਆਪਣੀ AI ਲਾਗਤ ਨੂੰ ਕਿਵੇਂ ਪ੍ਰਬੰਧਿਤ ਕਰਦੇ ਹੋ?
ਸਰੋਤ: https://dev.to/__c1b9e06dc90a7e0a676b/how-i-stopped-my-ai-feature-from-draining-my-wallet-20il