ਤੁਹਾਡੇ ਏਜੰਟ ਨੇ ਸਭ ਕੁਝ ਚੈੱਕ ਕੀਤਾ। ਫਿਰ ਵੀ ਇਹ ਗਲਤ ਸੀ।
ਮੈਂ ਇੱਕ ਮਲਟੀ-ਏਜੰਟ ਵਰਕਫਲੋ (multi-agent workflow) ਚਲਾਉਂਦਾ ਹਾਂ। ਇੱਕ ਮਾਡਲ ਡਿਜ਼ਾਈਨ ਕਰਦਾ ਹੈ। ਇੱਕ ਕੋਡ ਲਿਖਦਾ ਹੈ। ਇੱਕ ਇਸਦੀ ਸਮੀਖਿਆ ਕਰਦਾ ਹੈ। ਮੈਂ ਅੰਤਿਮ ਨਤੀਜੇ ਨੂੰ ਮਨਜ਼ੂਰੀ ਦਿੰਦਾ ਹਾਂ।
ਹਾਲ ਹੀ ਵਿੱਚ, ਤਿੰਨ ਅਸਫਲਤਾਵਾਂ ਇਸ ਪਾਈਪਲਾਈਨ ਵਿੱਚੋਂ ਲੰਘ ਗਈਆਂ। ਹਰੇਕ ਏਜੰਟ ਨੇ ਆਪਣਾ ਕੰਮ ਬਿਲਕੁਲ ਸਹੀ ਤਰੀਕੇ ਨਾਲ ਕੀਤਾ। ਸਿਸਟਮ ਇਕਸਾਰ ਸੀ, ਫਿਰ ਵੀ ਇਹ ਲਗਾਤਾਰ ਗਲਤ ਸੀ।
ਇਹ ਬੁੱਧੀ (intelligence) ਦੀ ਸਮੱਸਿਆ ਨਹੀਂ ਹੈ। ਇਹ ਸੀਮਾਵਾਂ (boundary) ਦੀ ਸਮੱਸਿਆ ਹੈ। ਇੱਕ ਏਜੰਟ ਉਹੀ ਕਰਦਾ ਹੈ ਜੋ ਤੁਸੀਂ ਉਸਨੂੰ ਦਿੱਤੇ ਗਏ ਸੰਦਰਭ (context) ਦੇ ਅੰਦਰ ਕਹਿੰਦੇ ਹੋ। ਇਹ ਆਪਣੇ ਆਪ ਪੁਸ਼ਟੀ ਕਰਨ ਲਈ ਨਵੀਆਂ ਚੀਜ਼ਾਂ ਨਹੀਂ ਲੱਭੇਗਾ।
ਇੱਥੇ ਤਿੰਨ ਅਸਲ-ਦੁਨੀਆ ਦੀਆਂ ਅਸਫਲਤਾਵਾਂ ਅਤੇ ਉਹਨਾਂ ਨੂੰ ਠੀਕ ਕਰਨ ਦੇ ਤਰੀਕੇ ਦਿੱਤੇ ਗਏ ਹਨ:
- ਸਫਲਤਾ ਦੇ ਪਿੱਛੇ ਛੁਪੀ ਅਸਫਲਤਾ ਇੱਕ ETL ਪਾਈਪਲਾਈਨ ਨੇ ਇੱਕ API ਤੋਂ ਡਾਟਾ ਕੱਢਿਆ। API ਸੈਸ਼ਨ ਦੀ ਮਿਆਦ ਖਤਮ ਹੋ ਗਈ ਸੀ। ਇੱਕ ਐਰਰ ਕੋਡ ਦੇਣ ਦੀ ਬਜਾਏ, API ਨੇ JSON ਦੇ ਅੰਦਰ ਇੱਕ ਐਰਰ ਮੈਸੇਜ ਦੇ ਨਾਲ HTTP 200 ਰਿਟਰਨ ਕੀਤਾ। ਏਜੰਟ ਨੇ ਐਰਰ ਕੋਡ ਦੀ ਜਾਂਚ ਕੀਤੀ, ਕੋਈ ਨਹੀਂ ਮਿਲਿਆ, ਅਤੇ ਮੰਨ ਲਿਆ ਕਿ ਡਾਟਾ ਵੈਧ (valid) ਸੀ।
- ਸੁਧਾਰ: ਸੈਮੈਂਟਿਕ ਵੈਲੀਡੇਸ਼ਨ (semantic validation) ਦੀ ਵਰਤੋਂ ਕਰੋ। ਸਿਰਫ ਇਹ ਨਾ ਚੈੱਕ ਕਰੋ ਕਿ ਕੋਈ ਕਾਲ ਸਫਲ ਹੋਈ ਹੈ ਜਾਂ ਨਹੀਂ। ਇਹ ਚੈੱਕ ਕਰੋ ਕਿ ਰਿਟਰਨ ਕੀਤਾ ਗਿਆ ਡਾਟਾ ਉਮੀਦ ਕੀਤੇ ਗਏ ਢਾਂਚੇ (structure) ਅਤੇ ਰੋਅ ਕਾਊਂਟ (row count) ਨਾਲ ਮੇਲ ਖਾਂਦਾ ਹੈ ਜਾਂ ਨਹੀਂ।
- ਗੁੰਮ ਹੋਈਆਂ ਆਰਟੀਫੈਕਟਸ (Missing artifacts) ਇੱਕ ਕੋਡ ਜਨਰੇਟਰ ਨੇ ਇੱਕ ਚਿੱਪ ਲਈ C ਫਾਈਲਾਂ ਤਿਆਰ ਕੀਤੀਆਂ। ਰਿਵਿਊਅਰ ਨੇ ਪੁਸ਼ਟੀ ਕੀਤੀ ਕਿ ਕੋਡ ਸਹੀ ਸੀ। ਹਾਲਾਂਕਿ, ਜਨਰੇਟਰ ਨੇ ਲੋੜੀਂਦੀ ਵਿਜੇਟ ਟੇਬਲ ਫਾਈਲ (widget table file) ਕਦੇ ਨਹੀਂ ਬਣਾਈ। ਰਿਵਿਊਅਰ ਨੇ ਮੌਜੂਦਾ ਫਾਈਲਾਂ ਦੀ ਜਾਂਚ ਕੀਤੀ ਪਰ ਗੁੰਮ ਹੋਈਆਂ ਫਾਈਲਾਂ ਦੀ ਜਾਂਚ ਨਹੀਂ ਕੀਤੀ।
- ਸੁਧਾਰ: ਆਉਟਪੁੱਟ ਦੀ ਮੁਕੰਮਲਤਾ ਦੀ ਪੁਸ਼ਟੀ ਕਰੋ। ਹਮੇਸ਼ਾ ਪਹਿਲਾਂ ਲੋੜੀਂਦੀਆਂ ਫਾਈਲਾਂ ਦੀ ਸੂਚੀ ਬਣਾਓ। ਅਗਲੇ ਕਦਮ ਵੱਲ ਵਧਣ ਤੋਂ ਪਹਿਲਾਂ ਯਕੀਨੀ ਬਣਾਓ ਕਿ ਹਰ ਫਾਈਲ ਮੌਜੂਦ ਹੈ ਅਤੇ ਖਾਲੀ ਨਹੀਂ ਹੈ।
- ਗਲਤ ਤਕਨੀਕੀ ਦਾਅਵੇ ਇੱਕ SDK ਫੋਲਡਰ ਨੇ ਦਾਅਵਾ ਕੀਤਾ ਕਿ ਇਹ RISC-V ਚਿੱਪ ਲਈ ਹੈ, ਪਰ ਹੈਡਰ ਕਮੈਂਟਸ (header comments) ਵਿੱਚ ਕਿਹਾ ਗਿਆ ਸੀ ਕਿ ਇਹ CSKY ਪ੍ਰੋਸੈਸਰ ਲਈ ਹੈ। ਏਜੰਟ ਨੇ ਫੋਲਡਰ ਦੇ ਨਾਮ ਅਤੇ ਕਮੈਂਟਸ 'ਤੇ ਭਰੋਸਾ ਕੀਤਾ। ਉਸਨੇ ਅਸਲ ਮਸ਼ੀਨ ਇੰਸਟ੍ਰਕਸ਼ਨਾਂ (machine instructions) ਨੂੰ ਅਣਗੌਲਿਆ ਕਰ ਦਿੱਤਾ ਜੋ ਇਹ ਸਾਬਤ ਕਰਦੀਆਂ ਸਨ ਕਿ ਦਾਅਵਾ ਗਲਤ ਸੀ।
- ਸੁਧਾਰ: ਗਰਾਊਂਡ-ਟਰੂਥ ਵੈਰੀਫਿਕੇਸ਼ਨ (ground-truth verification) ਦੀ ਵਰਤੋਂ ਕਰੋ। ਜੇਕਰ ਕੋਈ ਫਾਈਲ ਕੋਈ ਦਾਅਵਾ ਕਰਦੀ ਹੈ, ਤਾਂ ਉਸ ਦਾਅਵੇ ਨੂੰ ਇੱਕ ਕਮਾਂਡ ਨਾਲ ਟੈਸਟ ਕਰੋ। ਕਮੈਂਟਸ ਜਾਂ ਡਾਇਰੈਕਟਰੀ ਦੇ ਨਾਮਾਂ 'ਤੇ ਭਰੋਸਾ ਨਾ ਕਰੋ। ਕੱਚੇ ਡਾਟਾ (raw data) 'ਤੇ ਭਰੋਸਾ ਕਰੋ।
ਏਜੰਟ ਉਹੀ ਵੈਰੀਫਾਈ ਕਰਨਗੇ ਜੋ ਤੁਸੀਂ ਉਹਨਾਂ ਨੂੰ ਕਰਨ ਲਈ ਕਹੋਗੇ। ਉਹ ਇਹ ਨਹੀਂ ਪੁੱਛਣਗੇ, "ਹੋਰ ਕੀ ਗਲਤ ਹੋ ਸਕਦਾ ਹੈ?"
ਤੁਹਾਨੂੰ ਸੀਮਾਵਾਂ (boundaries) ਨੂੰ ਡਿਜ਼ਾਈਨ ਕਰਨਾ ਚਾਹੀਦਾ ਹੈ। ਤੁਹਾਨੂੰ ਆਪਣੇ ਵਰਕਫਲੋ ਦੇ ਕਿਨਾਰਿਆਂ 'ਤੇ ਵੈਰੀਫਿਕੇਸ਼ਨ ਚੈੱਕਪੁਆਇੰਟ ਬਣਾਉਣੇ ਚਾਹੀਦੇ ਹਨ।
Source: https://dev.to/antonio_zhu_e726fd856cd86/your-agent-checked-everything-it-was-still-wrong-18kd
Optional learning community: https://t.me/GyaanSetuAi