AI ਨੂੰ ਵੱਡੇ Context Windows ਨਾਲੋਂ State Management ਦੀ ਵਧੇਰੇ ਲੋੜ ਕਿਉਂ ਹੈ
ਨਵੇਂ ਮਾਡਲ ਵਿਸ਼ਾਲ context windows ਦੇ ਨਾਲ ਲਾਂਚ ਹੁੰਦੇ ਹਨ। ਇਹ ਮੰਨਣਾ ਸੌਖਾ ਹੈ ਕਿ ਇੱਕ ਹੀ ਰਿਕਵੈਸਟ ਵਿੱਚ ਵਧੇਰੇ ਡੇਟਾ ਹਰ ਸਮੱਸਿਆ ਨੂੰ ਹੱਲ ਕਰ ਦਿੰਦਾ ਹੈ।
ਤੁਸੀਂ ਹੋਰ ਦਸਤਾਵੇਜ਼ ਜੋੜਦੇ ਹੋ। ਤੁਸੀਂ ਹੋਰ history ਜੋੜਦੇ ਹੋ। ਤੁਸੀਂ ਹੋਰ workflow ਡੇਟਾ ਜੋੜਦੇ ਹੋ।
ਪਰ production ਵਿੱਚ AI ਚਲਾਉਣ ਤੋਂ ਬਾਅਦ, ਅਸੀਂ ਇੱਕ ਸਬਕ ਸਿੱਖਿਆ। Context windows ਮਦਦ ਕਰਦੇ ਹਨ। State management ਵਧੇਰੇ ਮਹੱਤਵਪੂਰਨ ਹੈ।
ਜਦੋਂ AI ਮਾੜੇ ਨਤੀਜੇ ਦਿੰਦਾ ਹੈ, ਤਾਂ ਟੀਮਾਂ ਅਕਸਰ prompt ਵਿੱਚ ਹੋਰ ਜਾਣਕਾਰੀ ਜੋੜ ਦਿੰਦੀਆਂ ਹਨ। ਉਹਨਾਂ ਨੂੰ ਲੱਗਦਾ ਹੈ ਕਿ ਮਾਡਲ ਨੂੰ ਹੋਰ history ਜਾਂ ਹੋਰ business context ਦੀ ਲੋੜ ਹੈ। Prompt ਲਗਾਤਾਰ ਵਧਦਾ ਜਾਂਦਾ ਹੈ।
ਵਧੇਰੇ ਜਾਣਕਾਰੀ ਦਾ ਮਤਲਬ ਬਿਹਤਰ ਫੈਸਲੇ ਨਹੀਂ ਹੁੰਦਾ। ਇਹ ਅਕਸਰ ਇਸ ਦੇ ਉਲਟ ਕੰਮ ਕਰਦਾ ਹੈ। ਵੱਡੇ context windows ਮਾੜੀ architecture ਨੂੰ ਛੁਪਾ ਲੈਂਦੇ ਹਨ। ਸਬੰਧਤ ਡੇਟਾ ਚੁਣਨ ਦੀ ਬਜਾਏ, ਸਿਸਟਮ ਸਭ ਕੁਝ ਸ਼ਾਮਲ ਕਰ ਲੈਂਦੇ ਹਨ।
ਇਸ ਨਾਲ ਕਈ ਸਮੱਸਿਆਵਾਂ ਪੈਦਾ ਹੁੰਦੀਆਂ ਹਨ:
- Token ਦੀ ਲਾਗਤ ਵਧ ਜਾਂਦੀ ਹੈ
- Latency ਵਧ ਜਾਂਦੀ ਹੈ
- Reasoning ਅਸੰਗਤ ਹੋ ਜਾਂਦੀ ਹੈ
- Retrieval noise ਵਧ ਜਾਂਦੀ ਹੈ
- Debugging ਕਰਨਾ ਮੁਸ਼ਕਲ ਹੋ ਜਾਂਦਾ ਹੈ
ਮਾਡਲ ਕੋਲ ਜਾਣਕਾਰੀ ਤਾਂ ਵਧੇਰੇ ਹੁੰਦੀ ਹੈ ਪਰ ਸਪਸ਼ਟਤਾ ਘੱਟ ਜਾਂਦੀ ਹੈ।
ਤੁਹਾਨੂੰ context ਅਤੇ state ਵਿਚਕਾਰ ਅੰਤਰ ਸਮਝਣਾ ਚਾਹੀਦਾ ਹੈ। Context ਉਹ ਜਾਣਕਾਰੀ ਹੈ ਜੋ ਇੱਕ ਸਿੰਗਲ ਰਿਕਵੈਸਟ ਦੌਰਾਨ ਉਪਲਬਧ ਹੁੰਦੀ ਹੈ। State ਉਹ ਜਾਣਕਾਰੀ ਹੈ ਜੋ ਸਿਸਟਮ ਸਮੇਂ ਦੇ ਨਾਲ ਜਾਣਦਾ ਹੈ।
State ਦੀਆਂ ਉਦਾਹਰਣਾਂ:
- Customer profiles
- Conversation summaries
- Workflow progress
- Business rules
ਇਹਨਾਂ ਨੂੰ ਹਰ prompt ਦੇ ਅੰਦਰ ਰੱਖਣ ਦੀ ਲੋੜ ਨਹੀਂ ਹੈ। Distributed systems ਸਾਰੇ ਡੇਟਾ ਨੂੰ ਹਰ ਜਗ੍ਹਾ ਭੇਜ ਕੇ ਗੁੰਝਲਤਾ ਨੂੰ ਹੱਲ ਨਹੀਂ ਕਰਦੇ। ਉਹ state ਨੂੰ ਪ੍ਰਬੰਧਿਤ ਕਰਨ ਲਈ databases, caches, ਅਤੇ queues ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹਨ।
AI ਸਿਸਟਮ ਅਕਸਰ ਇਸ ਅਨੁਸ਼ਾਸਨ ਨੂੰ ਨਜ਼ਰਅੰਦਾਜ਼ ਕਰ ਦਿੰਦੇ ਹਨ। ਉਹ context window ਨੂੰ ਇੱਕ ਅਸਥਾਈ database ਵਾਂਗ ਮੰਨਦੇ ਹਨ। ਇਹ architectural ਸੁਸਤੀ ਹੈ।
ਇਹ ਪੁੱਛਣਾ ਬੰਦ ਕਰੋ ਕਿ "ਕੀ ਅਸੀਂ ਸਭ ਕੁਝ ਸਮਾ ਸਕਦੇ ਹਾਂ?" ਇਹ ਪੁੱਛਣਾ ਸ਼ੁਰੂ ਕਰੋ ਕਿ "ਕਿਹੜੀ ਜਾਣਕਾਰੀ ਦੀ ਲੋੜ ਹੈ?"
ਅਸੀਂ context ਦਾ ਆਕਾਰ ਵਧਾਉਣ ਦੀ ਬਜਾਏ state management ਵਿੱਚ ਸੁਧਾਰ ਕਰਕੇ ਬਿਹਤਰ ਨਤੀਜੇ ਦੇਖੇ। ਅਸੀਂ ਇਹ ਇਸ ਤਰ੍ਹਾਂ ਕੀਤਾ:
- Operational state ਨੂੰ reasoning state ਤੋਂ ਵੱਖ ਕਰਕੇ
- Progress ਨੂੰ prompts ਤੋਂ ਬਾਹਰ ਸਟੋਰ ਕਰਕੇ
- Memory ਲਈ expiration rules ਸੈੱਟ ਕਰਕੇ
- Duplicate context ਨੂੰ ਘਟਾ ਕੇ
ਇਸ ਨਾਲ ਲਾਗਤ ਘੱਟ ਗਈ ਅਤੇ execution ਤੇਜ਼ ਹੋ ਗਿਆ। ਇਸ ਲਈ ਵੱਡੇ ਮਾਡਲਾਂ ਦੀ ਲੋੜ ਨਹੀਂ ਸੀ। ਇਸ ਲਈ ਬਿਹਤਰ design ਦੀ ਲੋੜ ਸੀ।
ਮਕਸਦ ਮਾਡਲ ਨੂੰ ਹਰ ਚੀਜ਼ ਤੱਕ ਪਹੁੰਚ ਦੇਣਾ ਨਹੀਂ ਹੈ। ਮਕਸਦ ਮਾਡਲ ਨੂੰ ਸਹੀ ਸਮੇਂ 'ਤੇ ਸਹੀ ਜਾਣਕਾਰੀ ਦੇਣਾ ਹੈ।
ਸਰੋਤ: https://dev.to/karan2598/why-ai-systems-need-state-management-more-than-bigger-context-windows-2a4m
ਵਿਕਲਪਿਕ ਲਰਨਿੰਗ ਕਮਿਊਨਿਟੀ: https://t.me/GyaanSetuAi