Amazon Bedrock ਹੁਣ ਡਿਵੈਲਪਰਾਂ ਨੂੰ ਪ੍ਰੋਂਪਟ ਦੇ ਹਿੱਸਿਆਂ ਨੂੰ ਕੈਸ਼ (cache) ਕਰਨ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦਾ ਹੈ, ਜਿਸ ਨਾਲ ਟੋਕਨ-ਵਰਤੋਂ ਦੇ ਬਿੱਲਾਂ ਵਿੱਚ 90% ਤੱਕ ਦੀ ਕਮੀ ਆ ਸਕਦੀ ਹੈ ਅਤੇ ਉਹਨਾਂ ਐਪਲੀਕੇਸ਼ਨਾਂ ਲਈ ਰਿਸਪਾਂਸ ਲੇਟੈਂਸੀ (latency) ਵਿੱਚ 85% ਤੱਕ ਦੀ ਕਟੌਤੀ ਹੋ ਸਕਦੀ ਹੈ ਜੋ ਇੱਕ ਸਟੈਟਿਕ ਪ੍ਰੋਂਪਟ ਪ੍ਰੀਫਿਕਸ (static prompt prefix) ਦੀ ਮੁੜ ਵਰਤੋਂ ਕਰਦੇ ਹਨ।
ਇਹ ਬਦਲਾਅ ਕਿਉਂ ਮਹੱਤਵਪੂਰਨ ਹੈ
ਡਿਮਾਂਡ 'ਤੇ ਲਾਰਜ ਲੈਂਗੂਏਜ ਮਾਡਲ ਚਲਾਉਣ ਲਈ ਹਰ ਵਾਰ ਟੋਕਨ ਮਾਡਲ ਨੂੰ ਭੇਜਣ 'ਤੇ ਖਰਚਾ ਹੁੰਦਾ ਹੈ। ਚੈਟਬੋਟਸ, ਕੋਡ ਅਸਿਸਟੈਂਟਸ, ਅਤੇ ਡੌਕਯੂਮੈਂਟ-ਸਰਚ ਟੂਲ ਅਕਸਰ ਇੱਕੋ ਹੀ ਸਿਸਟਮ ਹਦਾਇਤਾਂ ਜਾਂ ਰੈਫਰੈਂਸ ਸਮੱਗਰੀ ਨੂੰ ਦੁਬਾਰਾ ਭੇਜਦੇ ਹਨ, ਜਿਸ ਨਾਲ ਖਰਚਾ ਵਧਦਾ ਹੈ ਅਤੇ ਰਿਸਪਾਂਸ ਦੀ ਰਫ਼ਤਾਰ ਹੌਲੀ ਹੋ ਜਾਂਦੀ ਹੈ।
ਪ੍ਰੋਂਪਟ ਕੈਸ਼ਿੰਗ ਕਿਵੇਂ ਕੰਮ ਕਰਦੀ ਹੈ
Bedrock ਇੱਕ “cacheable” ਫਲੈਗ ਜੋੜਦਾ ਹੈ ਜਿਸ ਨੂੰ ਡਿਵੈਲਪਰ ਪ੍ਰੋਂਪਟ ਦੇ ਕਿਸੇ ਵੀ ਹਿੱਸੇ ਨਾਲ ਜੋੜ ਸਕਦੇ ਹਨ—ਆਮ ਤੌਰ 'ਤੇ ਸਿਸਟਮ-ਲੇਵਲ ਦੀਆਂ ਹਦਾਇਤਾਂ, ਲੰਬੇ ਬੈਕਗ੍ਰਾਊਂਡ ਦਸਤਾਵੇਜ਼, ਜਾਂ ਟੂਲ ਡੈਫੀਨੇਸ਼ਨ ਜੋ ਸੈਸ਼ਨ ਦੌਰਾਨ ਕਦੇ ਨਹੀਂ ਬਦਲਦੇ। ਜਦੋਂ ਕੋਈ ਰਿਕਵੈਸਟ ਆਉਂਦੀ ਹੈ, ਤਾਂ Bedrock ਚੈੱਕ ਕਰਦਾ ਹੈ ਕਿ ਕੀ ਫਲੈਗ ਕੀਤਾ ਗਿਆ ਹਿੱਸਾ ਸਟੋਰ ਕੀਤੇ ਗਏ ਐਂਟਰੀ ਨਾਲ ਮੇਲ ਖਾਂਦਾ ਹੈ। ਜੇਕਰ ਹਾਂ, ਤਾਂ ਸਰਵਿਸ ਉਸ ਹਿੱਸੇ ਨੂੰ ਮਾਡਲ ਰਾਹੀਂ ਦੁਬਾਰਾ ਇਨਕੋਡ (re-encoding) ਅਤੇ ਦੁਬਾਰਾ ਚਲਾਉਣ ਦੀ ਪ੍ਰਕਿਰਿਆ ਨੂੰ ਛੱਡ ਦਿੰਦੀ ਹੈ ਅਤੇ ਇਸ ਦੀ ਬਜਾਏ ਕੈਸ਼ ਤੋਂ ਪਹਿਲਾਂ ਤੋਂ ਕੰਪਿਊਟ ਕੀਤੀ ਗਈ ਰਿਪ੍ਰਜ਼ੈਂਟੇਸ਼ਨ ਲੈ ਲੈਂਦੀ ਹੈ।
ਅੰਕੜੇ
- ਇਨਪੁਟ-ਟੋਕਨ ਲਾਗਤ: 90% ਤੱਕ ਦੀ ਕਮੀ ਕਿਉਂਕਿ ਕੈਸ਼ ਕੀਤਾ ਗਿਆ ਪ੍ਰੀਫਿਕਸ ਹੁਣ ਹਰ ਕਾਲ 'ਤੇ ਟੋਕਨਾਂ ਦੀ ਵਰਤੋਂ ਨਹੀਂ ਕਰਦਾ।
- ਲੇਟੈਂਸੀ: 85% ਤੱਕ ਤੇਜ਼ ਕਿਉਂਕਿ ਸਟੈਟਿਕ ਹਿੱਸੇ ਲਈ ਮਾਡਲ ਦਾ ਭਾਰੀ ਕੰਮ (heavy lifting) ਕਰਨ ਦੀ ਲੋੜ ਨਹੀਂ ਰਹਿੰਦੀ।
ਸਭ ਤੋਂ ਵਧੀਆ ਵਰਤੋਂ ਦੇ ਮੌਕੇ
ਇਹ ਫੀਚਰ ਉਦੋਂ ਬਹੁਤ ਫਾਇਦੇਮੰਦ ਹੁੰਦਾ ਹੈ ਜਦੋਂ ਪ੍ਰੋਂਪਟ ਵਿੱਚ ਇੱਕ ਵੱਡਾ, ਅਟੱਲ ਹਿੱਸਾ ਹੋਵੇ ਅਤੇ ਉਸ ਤੋਂ ਬਾਅਦ ਇੱਕ ਛੋਟੀ, ਬਦਲਣ ਵਾਲੀ ਯੂਜ਼ਰ ਕੁਐਰੀ ਹੋਵੇ। ਆਮ ਪੈਟਰਨਾਂ ਵਿੱਚ ਸ਼ਾਮਲ ਹਨ:
- Retrieval-augmented generation (RAG) ਪਾਈਪਲਾਈਨਾਂ ਜੋ ਹਰ ਕੁਐਰੀ ਦੇ ਅੱਗੇ ਇੱਕ ਫੈਚ ਕੀਤਾ ਗਿਆ ਦਸਤਾਵੇਜ਼ ਜੋੜਦੀਆਂ ਹਨ।
- ਕਸਟਮਰ-ਸਪੋਰਟ ਬੋਟਸ ਜੋ ਹਮੇਸ਼ਾ ਇੱਕੋ ਜਿਹੇ ਪਾਲਿਸੀ ਸਟੇਟਮੈਂਟ ਜਾਂ ਟੋਨ-ਸੈਟਿੰਗ ਟੈਕਸਟ ਨਾਲ ਸ਼ੁਰੂ ਹੁੰਦੇ ਹਨ।
- ਕੋਡਿੰਗ ਅਸਿਸਟੈਂਟਸ ਜੋ ਡਿਵੈਲਪਰ ਦੇ ਸਨਿਪੇਟ ਤੋਂ ਪਹਿਲਾਂ ਇੱਕ ਫਿਕਸਡ ਲੈਂਗੂਏਜ-ਟੂਲ ਡੈਫੀਨੇਸ਼ਨ ਲੋਡ ਕਰਦੇ ਹਨ।
ਡਿਵੈਲਪਰਾਂ ਨੂੰ ਕੀ ਬਦਲਣ ਦੀ ਲੋੜ ਹੈ
ਡਿਵੈਲਪਰਾਂ ਨੂੰ ਪ੍ਰੋਂਪਟ ਨੂੰ ਦੁਬਾਰਾ ਵਿਵਸਥਿਤ ਕਰਨਾ ਚਾਹੀਦਾ ਹੈ ਤਾਂ ਜੋ ਸਟੈਟਿਕ ਸਮੱਗਰੀ ਬਿਲਕੁਲ ਸ਼ੁਰੂ ਵਿੱਚ ਹੋਵੇ ਅਤੇ ਹਰ ਕਾਲ ਵਿੱਚ ਬਾਈਟ-ਦਰ-ਬਾਈਟ ਇੱਕੋ ਜਿਹੀ ਰਹੇ। ਬਦਲਣ ਵਾਲਾ ਯੂਜ਼ਰ ਇਨਪੁਟ ਕੈਸ਼ ਕੀਤੇ ਪ੍ਰੀਫਿਕਸ ਤੋਂ ਬਾਅਦ ਆਵੇਗਾ। ਕਿਸੇ ਮਾਡਲ ਬਦਲਣ ਦੀ ਲੋੜ ਨਹੀਂ ਹੈ; ਉਹੀ Bedrock endpoints ਰਿਕਵੈਸਟ ਨੂੰ ਸੰਭਾਲਦੇ ਹਨ।
ਕਿਸ ਨੂੰ ਫਾਇਦਾ ਹੋਵੇਗਾ ਅਤੇ ਕਿਸ ਨੂੰ ਸਾਵਧਾਨ ਰਹਿਣਾ ਚਾਹੀਦਾ ਹੈ
ਇਸਦਾ ਫਾਇਦਾ ਸਿਰਫ਼ ਉਹਨਾਂ ਵਰਕਲੋਡਸ ਲਈ ਹੈ ਜਿੱਥੇ ਪ੍ਰੀਫਿਕਸ ਸੱਚਮੁੱਚ ਸਟੈਟਿਕ ਰਹਿੰਦਾ ਹੈ। ਉਹ ਐਪਲੀਕੇਸ਼ਨਾਂ ਜੋ ਹਰੇਕ ਯੂਜ਼ਰ ਲਈ ਸਿਸਟਮ ਹਦਾਇਤਾਂ ਨੂੰ ਨਿੱਜੀ ਬਣਾਉਂਦੀਆਂ ਹਨ ਜਾਂ ਵਾਰ-ਵਾਰ ਸੰਦਰਭ ਬਦਲਦੀਆਂ ਹਨ, ਉਹਨਾਂ ਨੂੰ ਬਹੁਤ ਘੱਟ ਫਾਇਦਾ ਹੋਵੇਗਾ ਅਤੇ ਉਹਨਾਂ ਨੂੰ ਵਧ ਗਈ ਪ੍ਰੋਂਪਟਿੰਗ ਜਟਿਲਤਾ ਦੀ ਤੁਲਨਾ ਮਾਮੂਲੀ ਲਾਭਾਂ ਨਾਲ ਕਰਨੀ ਚਾਹੀਦੀ ਹੈ।
ਸਿੱਟਾ: ਪ੍ਰੋਂਪਟ ਕੈਸ਼ਿੰਗ Bedrock ਉਪਭੋਗਤਾਵਾਂ ਨੂੰ AI ਸੰਚਾਲਨ ਲਾਗਤਾਂ ਨੂੰ ਘਟਾਉਣ ਅਤੇ ਰਿਸਪਾਂਸ ਸਮੇਂ ਵਿੱਚ ਸੁਧਾਰ ਕਰਨ ਲਈ ਇੱਕ ਸਿੱਧਾ ਸਾਧਨ ਪ੍ਰਦਾਨ ਕਰਦੀ ਹੈ, ਬਸ਼ਰਤੇ ਉਹਨਾਂ ਦੀਆਂ ਐਪਲੀਕੇਸ਼ਨਾਂ ਇੱਕ ਮੁੜ ਵਰਤੋਂ ਯੋਗ ਪ੍ਰੋਂਪਟ ਪ੍ਰੀਫਿਕਸ ਨੂੰ ਵੱਖ ਕਰ ਸਕਣ।