ਇੱਕ ਪ੍ਰੋਡਕਸ਼ਨ LLM ਏਜੰਟ ਦਾ ਮੈਮੋਰੀ ਲੌਗ (memory log) 2 KB ਦੀ ਫਾਈਲ ਤੋਂ ਵਧ ਕੇ 29,446 ਬਾਈਟ ਹੋ ਗਿਆ, ਜਿਸ ਨਾਲ ਏਜੰਟ ਦੁਆਰਾ ਪੜ੍ਹੇ ਜਾਣ ਵਾਲੇ ਟੋਕਨਾਂ ਦੀ ਗਿਣਤੀ ਇੱਕ ਵਾਰ ਚਲਾਉਣ (run) 'ਤੇ ਲਗਭਗ 500 ਤੋਂ ਵਧ ਕੇ 7,360 ਹੋ ਗਈ — ਇਹ ਇੱਕ ਅਜਿਹਾ ਲੁਕਿਆ ਹੋਇਆ ਖਰਚਾ ਸੀ ਜੋ ਮਾਨੀਟਰਿੰਗ ਡੈਸ਼ਬੋਰਡ 'ਤੇ ਕਿਸੇ ਵੀ ਚੇਤਾਵਨੀ ਤੋਂ ਬਿਨਾਂ ਪ੍ਰਗਟ ਹੋਇਆ। ਏਜੰਟ ਦੇ ਪਿੱਛੇ ਕੰਮ ਕਰਨ ਵਾਲੇ ਡਿਵੈਲਪਰ ਦਾ ਕਹਿਣਾ ਹੈ ਕਿ ਪੜ੍ਹਨ ਦੀ ਲਾਗਤ ਵਿੱਚ ਇਹ ਚੁੱਪਚਾਪ ਵਾਧਾ "ਏਜੰਟ ਕਾਸਟ ਡ੍ਰਿਫਟ" (agent cost drift) ਦੀ ਇੱਕ ਸਪੱਸ਼ਟ ਉਦਾਹਰਣ ਹੈ, ਇੱਕ ਅਜਿਹੀ ਸਮੱਸਿਆ ਜੋ ਬਜਟ ਨੂੰ ਖਤਮ ਕਰ ਸਕਦੀ ਹੈ ਭਾਵੇਂ ਸਿਸਟਮ ਆਮ ਤੌਰ 'ਤੇ ਕੰਮ ਕਰਦਾ ਦਿਖਾਈ ਦੇਵੇ।
ਏਜੰਟ ਕਾਸਟ ਡ੍ਰਿਫਟ (agent cost drift) ਕੀ ਹੈ?
ਏਜੰਟ ਕਾਸਟ ਡ੍ਰਿਫਟ ਇੱਕ AI ਏਜੰਟ ਦੇ ਰੋਜ਼ਾਨਾ ਕੰਮਾਂ ਦੀ ਕੰਪਿਊਟੇਸ਼ਨਲ ਲਾਗਤ (computational cost) ਵਿੱਚ ਹੌਲੀ-ਹੌਲੀ ਹੋਣ ਵਾਲੇ ਵਾਧੇ ਨੂੰ ਦਰਸਾਉਂਦਾ ਹੈ, ਜੋ ਕਿ ਏਜੰਟ ਦੀ ਆਪਣੀ ਵਧਦੀ ਹੋਈ ਸਟੇਟ (state) ਕਾਰਨ ਹੁੰਦਾ ਹੈ। ਉਦਾਹਰਣ ਵਿੱਚ, ਏਜੰਟ ਇੱਕ ਵਰਕ-ਲੌਗ ਫਾਈਲ ਰੱਖਦਾ ਹੈ ਜੋ ਇਹ ਰਿਕਾਰਡ ਕਰਦੀ ਹੈ ਕਿ ਉਸਨੇ ਪਿਛਲੇ ਲੇਖ ਵਿਸ਼ਿਆਂ ਨੂੰ ਕਿਉਂ ਰੱਦ ਕੀਤਾ ਸੀ। ਹਰ ਨਵੀਂ ਐਂਟਰੀ ਤਰਕ ਦਾ ਇੱਕ ਪੈਰਾ ਜੋੜਦੀ ਹੈ, ਅਤੇ ਏਜੰਟ ਦੁਆਰਾ ਨਵੀਂ ਸਮੱਗਰੀ ਤਿਆਰ ਕਰਨ ਤੋਂ ਪਹਿਲਾਂ ਪੂਰੀ ਫਾਈਲ ਪੜ੍ਹੀ ਜਾਂਦੀ ਹੈ। ਕਿਉਂਕਿ ਲੌਗ ਕੁਡਰਾਟਿਕਲੀ (quadratically) ਵਧਦਾ ਹੈ—ਹਰ ਐਂਟਰੀ ਨਾ ਸਿਰਫ਼ ਆਪਣੀ ਲੰਬਾਈ ਵਧਾਉਂਦੀ ਹੈ ਬਲਕਿ ਪਿਛਲੀਆਂ ਐਂਟਰੀਆਂ ਦਾ ਹਵਾਲਾ ਵੀ ਦਿੰਦੀ ਹੈ—ਏਜੰਟ ਨੂੰ ਪੜ੍ਹਨੀ ਪੈਣ ਵਾਲੀ ਟੈਕਸਟ ਦੀ ਮਾਤਰਾ ਸਮੇਂ ਦੇ ਨਾਲ ਤੇਜ਼ੀ ਨਾਲ ਵਧਦੀ ਜਾਂਦੀ ਹੈ।
ਇਹ ਡ੍ਰਿਫਟ ਕੋਈ ਅਚਾਨਕ ਵਾਧਾ ਜਾਂ ਫੇਲ੍ਹ ਹੋਣਾ ਨਹੀਂ ਹੈ; ਇਹ ਇੱਕ ਲੀਨੀਅਰ ਟੈਕਸ (linear tax) ਹੈ ਜੋ ਵਧਦਾ ਜਾਂਦਾ ਹੈ। ਏਜੰਟ ਅਜੇ ਵੀ ਦਿਨ ਵਿੱਚ ਦੋ ਲੇਖ ਤਿਆਰ ਕਰਦਾ ਹੈ, ਅਤੇ ਡੈਸ਼ਬੋਰਡ ਕੋਈ ਗਲਤੀ ਨਹੀਂ ਦਿਖਾਉਂਦਾ, ਫਿਰ ਵੀ ਹਰ ਰਨ ਹੁਣ 7,360 ਟੋਕਨਾਂ ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੈ, ਜੋ ਕਿ ਇੱਕ ਮਹੀਨੇ ਪਹਿਲਾਂ ਲਗਭਗ 500 ਸੀ। ਕਿਉਂਕਿ ਜ਼ਿਆਦਾਤਰ LLM ਪ੍ਰਦਾਤਾ ਪ੍ਰਤੀ ਟੋਕਨ ਦੇ ਹਿਸਾਬ ਨਾਲ ਚਾਰਜ ਕਰਦੇ ਹਨ, ਇਸ ਲਈ ਹਰ ਰਨ ਵਿੱਚ ਟੋਕਨਾਂ ਦਾ ਵਾਧਾ ਸਿੱਧੇ ਤੌਰ 'ਤੇ ਉੱਚੀ ਸੰਚਾਲਨ ਲਾਗਤ (operating costs) ਵਿੱਚ ਬਦਲ ਜਾਂਦਾ ਹੈ।
ਇਹ ਕਿਉਂ ਮਹੱਤਵਪੂਰਨ ਹੈ
- ਬਜਟ 'ਤੇ ਪ੍ਰਭਾਵ – ਟੋਕਨ-ਅਧਾਰਤ ਕੀਮਤਾਂ ਦਾ ਮਤਲਬ ਹੈ ਕਿ ਪੜ੍ਹਿਆ ਗਿਆ ਹਰ ਵਾਧੂ ਟੋਕਨ ਖਰਚਿਆ ਗਿਆ ਪੈਸਾ ਹੈ। ਟੋਕਨਾਂ ਦੀ ਗਿਣਤੀ 500 ਤੋਂ ਵਧ ਕੇ 7,360 ਹੋ ਗਈ।
ਲੁਕਿਆ ਹੋਇਆ ਮਕੈਨਿਜ਼ਮ (hidden mechanics)
ਫਾਈਲ ਦੇ ਵਧਣ ਦਾ ਤਰੀਕਾ ਮੁੱਖ ਹੈ। ਇੱਕ ਲਾਈਨ-ਦਰ-ਲਾਈਨ ਲੌਗ ਜੋ ਸਿਰਫ਼ ਨਵੀਆਂ ਐਂਟਰੀਆਂ ਜੋੜਦਾ ਹੈ, ਉਹ ਲੀਨੀਅਰ ਤਰੀਕੇ ਨਾਲ ਵਧੇਗਾ, ਪਰ ਕਿਉਂਕਿ ਹਰ ਐਂਟਰੀ ਪਿਛਲੇ ਰੱਦ ਕੀਤੇ ਗਏ ਵਿਸ਼ਿਆਂ ਦੇ ਪਿੱਛੇ ਦੇ ਤਰਕ ਦੀ ਵਿਆਖਿਆ ਕਰਦੀ ਹੈ, ਇਸ ਲਈ ਟੈਕਸਟ ਦੀ ਲੰਬਾਈ ਵਧਦੀ ਜਾਂਦੀ ਹੈ। ਨਤੀਜਾ ਇੱਕ ਕੁਡਰਾਟਿਕ ਗ੍ਰੋਥ ਕਰਵ (quadratic growth curve) ਹੁੰਦਾ ਹੈ: ਐਂਟਰੀਆਂ ਦੀ ਗਿਣਤੀ ਦੁੱਗਣੀ ਕਰਨ ਨਾਲ ਫਾਈਲ ਦਾ ਆਕਾਰ ਦੁੱਗਣੇ ਤੋਂ ਵੀ ਵੱਧ ਜਾਂਦਾ ਹੈ, ਅਤੇ ਇਸ ਨੂੰ ਪ੍ਰੋਸੈਸ ਕਰਨ ਲਈ ਲੋੜੀਂਦੇ ਟੋਕਨਾਂ ਦੀ ਗਿਣਤੀ ਹੋਰ ਵੀ ਤੇਜ਼ੀ ਨਾਲ ਵਧਦੀ ਹੈ।
ਡਿਵੈਲਪਰ ਬਹੁਤ ਘੱਟ ਹੀ ਵਧਦੀ ਲਾਗਤ ਨੂੰ ਫੜ ਪਾਉਂਦੇ ਹਨ ਕਿਉਂਕਿ ਹਰ ਐਂਟਰੀ "ਆਪਣੇ ਆਪ ਵਿੱਚ ਸਹੀ ਲੱਗਦੀ ਹੈ।" ਏਜੰਟ ਦਾ ਆਊਟਪੁੱਟ ਸਹੀ ਰਹਿੰਦਾ ਹੈ, ਅਤੇ ਲੌਗ ਆਪਣਾ ਉਦੇਸ਼ ਪੂਰਾ ਕਰਦਾ ਰਹਿੰਦਾ ਹੈ, ਜਿਸ ਨਾਲ ਅਕੁਸ਼ਲਤਾ (inefficiency) ਲੁਕੀ ਰਹਿੰਦੀ ਹੈ।
ਰੋਕਥਾਮ ਦੀ ਰਣਨੀਤੀ (Mitigation strategy)
ਡਿਵੈਲਪਰ ਲੌਗ ਦੇ ਤਿੰਨ-ਭਾਗਾਂ ਵਾਲੇ ਪੁਨਰਗਠਨ ਦਾ ਪ੍ਰਸਤਾਵ ਦਿੰਦਾ ਹੈ:
- ਹਾਲੀਆ-ਐਂਟਰੀ ਫਾਈਲ (Recent-entry file) – ਇੱਕ ਛੋਟੀ, ਸਰਗਰਮ ਰੂਪ ਵਿੱਚ ਪੜ੍ਹੀ ਜਾਣ ਵਾਲੀ ਫਾਈਲ ਰੱਖੋ ਜਿਸ ਵਿੱਚ ਸਿਰਫ਼ ਉਹਨਾਂ ਕੁਝ ਤਾਜ਼ਾ ਐਂਟਰੀਆਂ ਨੂੰ ਰੱਖਿਆ ਜਾਵੇ ਜੋ ਤੁਰੰਤ ਦੁਹਰਾਓ ਤੋਂ ਬਚਣ ਲਈ ਲੋੜੀਂਦੀਆਂ ਹਨ।
- ਕੰਪੈਕਟ ਇੰਡੈਕਸ (Compact index) – ਪੁਰਾਣੀਆਂ ਐਂਟਰੀਆਂ ਲਈ ਇੱਕ-ਲਾਈਨ ਦਾ ਸਾਰ (summary) ਸਟੋਰ ਕਰੋ। ਪੂਰੇ ਪੈਰ੍ਹਿਆਂ ਨੂੰ ਲਿਆਏ ਬਿਨਾਂ ਵਿਸ਼ੇ ਦੀ ਦੁਹਰਾਓ ਦੀ ਜਾਂਚ ਕਰਨ ਲਈ ਇੰਡੈਕਸ ਨੂੰ ਤੇਜ਼ੀ ਨਾਲ ਸਕੈਨ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ।
- ਆਰਕਾਈਵਡ ਫੁੱਲ ਟੈਕਸਟ (Archived full text) – ਪੂਰੇ ਇਤਿਹਾਸਕ ਤਰਕ ਨੂੰ ਇੱਕ ਵੱਖਰੀ ਆਰਕਾਈਵ ਫਾਈਲ ਵਿੱਚ ਭੇਜ ਦਿਓ ਜਿਸ ਨੂੰ ਏਜੰਟ ਆਮ ਕਾਰਜ ਦੌਰਾਨ ਨਹੀਂ ਪੜ੍ਹਦਾ।
ਇਹ ਪਹੁੰਚ ਵਿਸ਼ੇ ਦੀ ਦੁਹਰਾਓ ਤੋਂ ਬਚਣ ਦੀ ਏਜੰਟ ਦੀ ਯੋਗਤਾ ਨੂੰ ਬਰਕਰਾਰ ਰੱਖਦੀ ਹੈ ਅਤੇ ਨਾਲ ਹੀ ਹਰ ਰਨ ਵਿੱਚ ਟੋਕਨ ਦੇ ਬੋਝ ਨੂੰ ਕਾਫ਼ੀ ਘਟਾਉਂਦੀ ਹੈ।
ਆਪਣੇ ਏਜੰਟਾਂ ਵਿੱਚ ਕਾਸਟ ਡ੍ਰਿਫਟ ਦਾ ਪਤਾ ਕਿਵੇਂ ਲਗਾਇਆ ਜਾਵੇ
- ਟੋਕਨ ਰੀਡਜ਼ ਨੂੰ ਮਾਪੋ (Instrument token reads) – ਹਰ ਵਾਰ ਜਦੋਂ ਏਜੰਟ ਚਲਦਾ ਹੈ, ਤਾਂ ਉਸਦੀ ਮੈਮੋਰੀ ਫਾਈਲ ਲੋਡ ਕਰਦੇ ਸਮੇਂ ਵਰਤੇ ਗਏ ਟੋਕਨਾਂ ਦੀ ਗਿਣਤੀ ਨੂੰ ਰਿਕਾਰਡ ਕਰੋ।
- ਸਮੇਂ ਦੇ ਨਾਲ ਟ੍ਰੈਕ ਕਰੋ – ਅੱਜ ਦੀ ਟੋਕਨ ਗਿਣਤੀ ਦੀ ਤੁਲਨਾ ਇੱਕ ਹਫ਼ਤੇ ਜਾਂ ਇੱਕ ਮਹੀਨੇ ਪਹਿਲਾਂ ਦੀ ਗਿਣਤੀ ਨਾਲ ਕਰੋ। ਲਗਾਤਾਰ ਵਧਦਾ ਰੁਝਾਨ ਡ੍ਰਿਫਟ ਦਾ ਸੰਕੇਤ ਦਿੰਦਾ ਹੈ।
ਸਿਰਫ਼ ਇਹ ਪੁਸ਼ਟੀ ਕਰਨਾ ਕਿ ਫਾਈਲ ਅਜੇ ਵੀ ਬਿਨਾਂ ਕਿਸੇ ਗਲਤੀ ਦੇ ਲੋਡ ਹੁੰਦੀ ਹੈ, ਕਾਫ਼ੀ ਨਹੀਂ ਹੈ; ਤੁਹਾਨੂੰ ਉਸ ਲੋਡ ਦੀ ਲਾਗਤ ਨੂੰ ਮਾਪਣਾ ਚਾਹੀਦਾ ਹੈ।
ਅੱਗੇ ਕੀ ਦੇਖਣਾ ਹੈ
ਏਜੰਟ ਕਾਸਟ ਡ੍ਰਿਫਟ ਇੱਕ ਅਦਿੱਖ ਟੈਕਸ ਹੈ ਜੋ ਚੁੱਪਚਾਪ ਤੁਹਾਡੇ AI ਬਜਟ ਨੂੰ ਖਤਮ ਕਰ ਸਕਦਾ ਹੈ। ਏਜੰਟ ਦੀ ਮੈਮੋਰੀ ਫਾਈਲ ਨੂੰ ਇੱਕ ਲਾਗਤ ਕੇਂਦਰ (cost center) ਵਜੋਂ ਮੰਨ ਕੇ—ਟੋਕਨ ਰੀਡਜ਼ ਨੂੰ ਮਾਪਣ, ਵਾਧੇ ਦੇ ਕਰਵਾਂ 'ਤੇ ਨਜ਼ਰ ਰੱਖਣ, ਅਤੇ ਲੌਗਾਂ ਨੂੰ ਮੁੜਗਠਿਤ ਕਰਨ ਰਾਹੀਂ—ਤੁਸੀਂ ਟੈਕਸ ਨੂੰ ਘੱਟ ਅਤੇ ਆਊਟਪੁੱਟ ਨੂੰ ਸ਼ਾਰਪ ਰੱਖ ਸਕਦੇ ਹੋ।
ਚਰਚਾ ਵਿੱਚ ਸ਼ਾਮਲ ਹੋਵੋ: https://t.me/GyaanSetuAi