ਜਦੋਂ ਕੰਟੈਕਸਟ ਵਿੰਡੋਜ਼ (Context Windows) ਮਹੱਤਵਪੂਰਨ ਨਹੀਂ ਰਹਿੰਦੀਆਂ
ਵੱਡੀਆਂ ਕੰਟੈਕਸਟ ਵਿੰਡੋਜ਼ ਦੇ ਪਿੱਛੇ ਭੱਜਣਾ ਬੰਦ ਕਰੋ।
ਇਹ ਸੋਚਣ ਦਾ ਯੁੱਗ ਖ਼ਤਮ ਹੋ ਗਿਆ ਹੈ ਕਿ ਵਧੇਰੇ ਟੋਕਨ ਹਰ ਸਮੱਸਿਆ ਦਾ ਹੱਲ ਕਰਦੇ ਹਨ। ਵੱਡੀਆਂ ਕੰਟੈਕਸਟ ਵਿੰਡੋਜ਼ ਹੁਣ ਇੱਕ ਮਿਆਰ ਬਣ ਚੁੱਕੀਆਂ ਹਨ। ਇਹ ਹੁਣ ਇੱਕ ਬੁਨਿਆਦੀ ਲੋੜ ਹਨ।
ਅਸਲੀ ਚੁਣੌਤੀ ਇਸ ਨੂੰ ਕਾਰਜਸ਼ੀਲ (operationalization) ਬਣਾਉਣਾ ਹੈ।
ਜੇਕਰ ਤੁਸੀਂ ਅਜਿਹੀ AI ਬਣਾਉਣਾ ਚਾਹੁੰਦੇ ਹੋ ਜੋ ਪ੍ਰੋਡਕਸ਼ਨ ਵਿੱਚ ਕੰਮ ਕਰੇ, ਤਾਂ ਤੁਹਾਨੂੰ ਮਾਡਲ ਅਤੇ ਉਪਭੋਗਤਾ ਦੇ ਵਿਚਕਾਰਲੇ ਸਟੈਕ (stack) 'ਤੇ ਧਿਆਨ ਦੇਣਾ ਚਾਹੀਦਾ ਹੈ। ਇੱਕ ਕੰਮ ਕਰਨ ਵਾਲੇ AI ਏਜੰਟ ਲਈ ਇਹਨਾਂ ਪਰਤਾਂ (layers) ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ:
- ਟੂਲ ਡਿਜ਼ਾਈਨ: ਇਹ ਫੈਸਲਾ ਕਰਨਾ ਕਿ ਏਜੰਟ ਨੂੰ ਕਿਹੜੀਆਂ APIs ਦੀ ਲੋੜ ਹੈ।
- ਅਬਜ਼ਰਵੇਬਿਲਟੀ (Observability): ਇਹ ਦੇਖਣਾ ਕਿ ਏਜੰਟ ਕੀ ਕਰਦਾ ਹੈ ਅਤੇ ਉਹ ਕਿੱਥੇ ਅਸਫਲ ਹੁੰਦਾ ਹੈ।
- ਫਾਲਬੈਕ ਪੈਟਰਨ (Fallback patterns): ਉਸ ਸਮੇਂ ਲਈ ਯੋਜਨਾ ਬਣਾਉਣਾ ਜਦੋਂ ਏਜੰਟ ਗਲਤ ਰਸਤਾ ਚੁਣਦਾ ਹੈ।
- ਸਟੇਟ ਮੈਨੇਜਮੈਂਟ (State management): ਕਈ ਪੜਾਵਾਂ ਵਿੱਚ ਕੰਟੈਕਸਟ ਨੂੰ ਟ੍ਰੈਕ ਕਰਨਾ।
- ਲਾਗਤ ਅਨੁਕੂਲਨ (Cost optimization): ਸਧਾਰਨ ਕੰਮਾਂ ਲਈ ਛੋਟੇ ਮਾਡਲਾਂ ਦੀ ਵਰਤੋਂ ਕਰਨਾ।
- ਹਿਊਮਨ-ਇਨ-ਦ-ਲੂਪ (Human-in-the-loop): ਇਹ ਜਾਣਨਾ ਕਿ ਕਦੋਂ ਕਿਸੇ ਵਿਅਕਤੀ ਨੂੰ ਦਖਲ ਦੇਣਾ ਚਾਹੀਦਾ ਹੈ।
ਜੇਕਰ ਤੁਸੀਂ ਇਹਨਾਂ ਪਰਤਾਂ ਨੂੰ ਨਜ਼ਰਅੰਦਾਜ਼ ਕਰਦੇ ਹੋ, ਤਾਂ ਤੁਹਾਡੀ AI ਇੱਕ ਬੋਝ (liability) ਬਣ ਜਾਵੇਗੀ।
AI ਨਾਲ ਜਿੱਤ ਰਹੀਆਂ ਕੰਪਨੀਆਂ ਸਭ ਤੋਂ ਵੱਡੇ ਮਾਡਲਾਂ ਦੇ ਪਿੱਛੇ ਨਹੀਂ ਭੱਜ ਰਹੀਆਂ। ਉਹ ਬਿਹਤਰ ਆਰਕੈਸਟ੍ਰੇਸ਼ਨ (orchestration) ਬਣਾ ਰਹੀਆਂ ਹਨ।
ਸਫਲ ਤੈਨਾਤੀਆਂ (deployments) ਤੋਂ ਤਿੰਨ ਸਬਕ:
- ਸੀਮਤ (Narrow) ਵਿਆਪਕ (General) ਤੋਂ ਬਿਹਤਰ ਹੈ। ਇੱਕ ਵਿਸ਼ੇਸ਼ ਕੰਮ ਲਈ ਬਣਾਇਆ ਗਿਆ ਏਜੰਟ ਉਸ ਆਮ ਏਜੰਟ ਨਾਲੋਂ ਕਿਤੇ ਜ਼ਿਆਦਾ ਕੀਮਤੀ ਹੈ ਜੋ ਸਭ ਕੁਝ ਮਾੜੇ ਤਰੀਕੇ ਨਾਲ ਕਰਦਾ ਹੈ।
- ਅਬਜ਼ਰਵੇਬਿਲਟੀ (Observability) ਮੁੱਖ ਵਿਸ਼ੇਸ਼ਤਾ ਹੈ। ਜੇਕਰ ਤੁਸੀਂ ਇਸਦੇ ਤਰਕ (logic) ਨੂੰ ਨਹੀਂ ਦੇਖ ਸਕਦੇ, ਤਾਂ ਤੁਸੀਂ ਏਜੰਟ 'ਤੇ ਭਰੋਸਾ ਨਹੀਂ ਕਰ ਸਕਦੇ। ਡੀਬੱਗਿੰਗ (Debugging) ਬਣਾਉਣ ਨਾਲੋਂ ਜ਼ਿਆਦਾ ਸਮਾਂ ਲੈਂਦੀ ਹੈ।
- ਵਾਧੂ ਵਿਕਲਪ (Redundancy) ਸੰਪੂਰਨਤਾ (perfection) ਨਾਲੋਂ ਬਿਹਤਰ ਹੈ। ਵੱਖ-ਵੱਖ ਕੰਮਾਂ ਲਈ ਕਈ ਏਜੰਟ ਬਣਾਓ। ਜਦੋਂ ਉਹ ਅਸਹਿਮਤ ਹੋਣ ਤਾਂ ਮਨੁੱਖੀ ਫਾਲਬੈਕ (human fallback) ਦੀ ਵਰਤੋਂ ਕਰੋ।
ਫਰੰਟੀਅਰ ਲੈਬਾਂ ਮਾਡਲ ਦੀ ਸਮਰੱਥਾ ਵਿੱਚ ਸੁਧਾਰ ਕਰਦੀਆਂ ਰਹਿਣਗੀਆਂ। ਇਹ ਉਹਨਾਂ ਦਾ ਕੰਮ ਹੈ।
ਅਸਲੀ ਨਵੀਨਤਾ (innovation) ਬੁਨਿਆਦੀ ਢਾਂਚੇ (infrastructure) ਵਿੱਚ ਹੁੰਦੀ ਹੈ। ਇਸਦਾ ਮਤਲਬ ਹੈ ਬਿਹਤਰ ਰੂਟਿੰਗ, ਲਾਗਤ ਨਿਯੰਤਰਣ, ਅਤੇ ਮਲਟੀ-ਮਾਡਲ ਸਿਸਟਮ।
ਸੰਪੂਰਨ ਮਾਡਲ ਦੀ ਉਡੀਕ ਕਰਨਾ ਬੰਦ ਕਰੋ। ਰੁਕਾਵਟ ਸਮਰੱਥਾ ਨਹੀਂ ਹੈ। ਇਹ ਅਮਲੀਕਰਨ (execution) ਹੈ।
ਤੁਹਾਡੇ AI ਪ੍ਰੋਜੈਕਟ ਨੂੰ ਕੀ ਰੋਕ ਰਿਹਾ ਹੈ? ਕੀ ਇਹ ਮਾਡਲ ਹੈ ਜਾਂ ਅਮਲੀਕਰਨ?
ਸਰੋਤ: https://dev.to/aibughunter/when-context-windows-stop-mattering-the-ai-stack-that-actually-works-26kk
ਵਿਕਲਪਿਕ ਸਿੱਖਣ ਭਾਈਚਾਰਾ: https://t.me/GyaanSetuAi