ਸੈਂਡਬਾਕਸ ਤੋਂ ਪਰੇ: ਟਿਕਾਊ AI Agents ਬਣਾਉਣਾ
ਪ੍ਰੋਡਕਸ਼ਨ AI agents ਲਈ ਸੈਂਡਬਾਕਸ ਕਾਫ਼ੀ ਨਹੀਂ ਹਨ।
ਜ਼ਿਆਦਾਤਰ ਡਿਵੈਲਪਰ agents ਨੂੰ ਮੈਮੋਰੀ ਵਿੱਚ ਇੱਕ ਸਧਾਰਨ ਲੂਪ ਵਜੋਂ ਬਣਾਉਂਦੇ ਹਨ। LLM ਦੇਖਦਾ ਹੈ, ਫੈਸਲਾ ਲੈਂਦਾ ਹੈ, ਕੰਮ ਕਰਦਾ ਹੈ, ਅਤੇ ਦੁਹਰਾਉਂਦਾ ਹੈ। ਇਹ ਲੈਬ ਵਿੱਚ ਕੰਮ ਕਰਦਾ ਹੈ। ਇਹ ਅਸਲ ਦੁਨੀਆ ਵਿੱਚ ਫੇਲ੍ਹ ਹੋ ਜਾਂਦਾ ਹੈ।
ਮੈਮੋਰੀ ਲੂਪ ਕਿਉਂ ਫੇਲ੍ਹ ਹੁੰਦਾ ਹੈ?
- ਲੰਬੇ ਕੰਮ: ਜੇਕਰ ਕਿਸੇ agent ਨੂੰ ਖਤਮ ਹੋਣ ਲਈ ਦਿਨਾਂ ਦੀ ਲੋੜ ਹੈ ਜਾਂ ਕਿਸੇ ਕੰਮ ਨੂੰ ਮਨਜ਼ੂਰੀ ਦੇਣ ਲਈ ਇਨਸਾਨ ਦਾ ਇੰਤਜ਼ਾਰ ਕਰਨਾ ਪੈਂਦਾ ਹੈ, ਤਾਂ ਇੱਕ ਪ੍ਰੋਸੈਸ ਨੂੰ ਚੱਲਦਾ ਰੱਖਣ ਨਾਲ CPU ਅਤੇ ਮੈਮੋਰੀ ਬਰਬਾਦ ਹੁੰਦੀ ਹੈ।
- ਕ੍ਰੈਸ਼ ਰਿਕਵਰੀ ਦੀ ਘਾਟ: ਜੇਕਰ ਸਿਸਟਮ ਕ੍ਰੈਸ਼ ਹੋ ਜਾਂਦਾ ਹੈ ਜਾਂ ਨੈੱਟਵਰਕ ਡਿਸਕਨੈਕਟ ਹੋ ਜਾਂਦਾ ਹੈ, ਤਾਂ ਤੁਸੀਂ ਸਾਰੀ ਸਟੇਟ (state) ਗੁਆ ਲੈਂਦੇ ਹੋ। ਤੁਸੀਂ ਉੱਥੋਂ ਦੁਬਾਰਾ ਸ਼ੁਰੂ ਨਹੀਂ ਕਰ ਸਕਦੇ ਜਿੱਥੋਂ ਤੁਸੀਂ ਛੱਡਿਆ ਸੀ।
- ਜਟਿਲਤਾ: ਬਹੁਤ ਸਾਰੇ ਵਾਧੂ ਕੋਡ ਤੋਂ ਬਿਨਾਂ ਕਈ agents ਲਈ ਇੱਕ ਦੂਜੇ ਨਾਲ ਗੱਲਬਾਤ ਕਰਨਾ ਮੁਸ਼ਕਲ ਹੁੰਦਾ ਹੈ।
Orkes ਦੇ CTO, Virein Baraiya, ਇੱਕ ਬਿਹਤਰ ਤਰੀਕਾ ਸੁਝਾਉਂਦੇ ਹਨ। ਆਪਣੇ ਕੰਮਾਂ ਨੂੰ ਵੱਖ-ਵੱਖ ਕਰੋ (Separate your concerns)।
ਸਿਰਫ਼ ਐਕਸ਼ਨਾਂ ਲਈ ਸੈਂਡਬਾਕਸ ਦੀ ਵਰਤੋਂ ਕਰੋ। ਜੋਖਮ ਭਰੇ tool code ਨੂੰ ਸੁਰੱਖਿਅਤ ਰੂਪ ਵਿੱਚ ਚਲਾਉਣ ਲਈ ਸੈਂਡਬਾਕਸ ਦੀ ਵਰਤੋਂ ਕਰੋ।
ਤਰਕ (reasoning) ਲਈ ਇੱਕ ਟਿਕਾਊ runtime ਦੀ ਵਰਤੋਂ ਕਰੋ। LLM ਯੋਜਨਾ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ। Runtime ਸਿਸਟਮ ਕਾਰਜਪ੍ਰਣਾਲੀ (execution) ਅਤੇ ਸਟੇਟ (state) ਨੂੰ ਸੰਭਾਲਦਾ ਹੈ।
ਉਹ ਇਸ ਨੂੰ ਹੱਲ ਕਰਨ ਲਈ ਦੋ ਟੂਲ ਪੇਸ਼ ਕਰਦੇ ਹਨ:
- Netflix Conductor ਇਹ ਇੱਕ workflow engine ਹੈ। ਇਹ ਇੱਕ ਲੈਜਰ ਵਜੋਂ ਕੰਮ ਕਰਦਾ ਹੈ। ਇਹ ਡਾਟਾਬੇਸ ਵਿੱਚ ਹਰ LLM call ਅਤੇ ਹਰ tool ਦੀ ਵਰਤੋਂ ਨੂੰ ਰਿਕਾਰਡ ਕਰਦਾ ਹੈ।
- ਇਹ on-demand suspension ਦਾ ਸਮਰਥਨ ਕਰਦਾ ਹੈ। ਜੇਕਰ ਕੋਈ agent ਇਨਸਾਨ ਦੀ ਉਡੀਕ ਕਰਦਾ ਹੈ, ਤਾਂ ਸਿਸਟਮ workflow ਨੂੰ ਰੋਕ ਦਿੰਦਾ ਹੈ ਅਤੇ ਸਾਰੀ ਮੈਮੋਰੀ ਖਾਲੀ ਕਰ ਦਿੰਦਾ ਹੈ।
- ਇਹ ਕੰਮ ਨੂੰ ਖਤਮ ਕਰਨ ਲਈ ਮਹੀਨਿਆਂ ਬਾਅਦ ਵੀ ਜਾਗ ਸਕਦਾ ਹੈ।
- Agent Span ਇਹ Conductor ਦੇ ਉੱਪਰ ਬਣਾਇਆ ਗਿਆ ਇੱਕ runtime ਹੈ। ਇਹ ਇੱਕ ਅਨੁਵਾਦਕ ਵਜੋਂ ਕੰਮ ਕਰਦਾ ਹੈ।
- ਤੁਸੀਂ LangGraph ਜਾਂ OpenAI SDK ਵਰਗੇ ਮੌਜੂਦਾ ਟੂਲਸ ਦੀ ਵਰਤੋਂ ਕਰ ਸਕਦੇ ਹੋ।
- Agent Span ਤੁਹਾਡੇ ਬਿਜ਼ਨਸ ਲੌਜਿਕ ਨੂੰ ਦੁਬਾਰਾ ਲਿਖੇ ਬਿਨਾਂ ਤੁਹਾਡੇ agent ਕੋਡ ਨੂੰ ਟਿਕਾਊ workflows ਵਿੱਚ ਬਦਲ ਦਿੰਦਾ ਹੈ।
ਇਹ ਆਰਕੀਟੈਕਚਰ ਤਿੰਨ ਵੱਡੀਆਂ ਜਿੱਤਾਂ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ:
- Guardrails: ਫਰੇਮਵਰਕ ਨਿਯਮਾਂ ਨੂੰ ਕੰਟਰੋਲ ਕਰਦਾ ਹੈ, LLM ਨੂੰ ਨਹੀਂ। ਇਹ hallucinations ਨੂੰ ਨੁਕਸਾਨ ਪਹੁੰਚਾਉਣ ਤੋਂ ਰੋਕਦਾ ਹੈ।
- ਪੂਰਾ Audit: ਤੁਸੀਂ ਮਹੀਨਿਆਂ ਬਾਅਦ ਵੀ ਦੇਖ ਸਕਦੇ ਹੋ ਕਿ ਇੱਕ agent ਨੇ ਫੈਸਲਾ ਕਿਉਂ ਲਿਆ ਸੀ। ਤੁਸੀਂ ਪ੍ਰਕਿਰਿਆ ਨੂੰ ਦੁਬਾਰਾ ਚਲਾ (replay) ਵੀ ਸਕਦੇ ਹੋ।
- ਬਿਹਤਰ Testing: ਤੁਸੀਂ ਇੱਕ LLM output ਨੂੰ ਬਦਲ ਸਕਦੇ ਹੋ ਅਤੇ ਦੇਖ ਸਕਦੇ ਹੋ ਕਿ ਬਾਕੀ ਸਿਸਟਮ ਕਿਵੇਂ ਪ੍ਰਤੀਕਿਰਿਆ ਕਰਦਾ ਹੈ।
ਬਣਾਉਣ ਵਾਲਿਆਂ ਲਈ ਇੱਕ ਆਖਰੀ ਟਿਪ: ਬਿਜ਼ਨਸ ਸੰਦਰਭ (business context) 'ਤੇ ਧਿਆਨ ਦਿਓ। ਮਾਡਲ ਬਦਲਦੇ ਹਨ। ਫਰੇਮਵਰਕ ਬਦਲਦੇ ਹਨ। ਪਰ ਤੁਹਾਡਾ ਬਿਜ਼ਨਸ ਜਿਸ ਖਾਸ ਤਰੀਕੇ ਨਾਲ ਕੰਮਾਂ ਨੂੰ ਲਾਗੂ ਕਰਦਾ ਹੈ, ਉਹ ਤੁਹਾਡੀ ਅਸਲ ਤਾਕਤ ਹੈ।
Source: https://dev.to/cognitalk/chao-yue-sha-xiang-wei-ai-agent-gou-jian-chi-jiu-hua-yun-xing-shi-2i9i
Optional learning community: https://t.me/GyaanSetuAi