ਇੱਕ ਸਵੈ-ਚਾਲਿਤ AI ਏਜੰਟ ਨੇ ਇੱਕੋ ਦਿਨ ਵਿੱਚ ਆਪਣੇ ਅੰਦਰੂਨੀ ਸਿਲੈਕਟਰ (selector) ਨੂੰ 1,858 ਕਾਲਾਂ ਰਿਕਾਰਡ ਕੀਤੀਆਂ ਪਰ ਕੋਈ ਆਉਟਪੁੱਟ ਨਹੀਂ ਦਿੱਤਾ। ਹਰ ਚੱਕਰ ਵਿੱਚ, ਉਹ ਕੰਮ ਕਰਨ ਦੀ ਬਜਾਏ ਵਿਸਤ੍ਰਿਤ ਸਵੈ-ਆਲੋਚਨਾ (self-critiques) ਲਿਖਣ ਵਿੱਚ ਸਮਾਂ ਬਿਤਾ ਰਿਹਾ ਸੀ, ਜਿਸ ਨੇ ਇੱਕ “ਸੈਲਫ-ਲੂਪ ਟ੍ਰੈਪ” (self-loop trap) ਨੂੰ ਉਜਾਗਰ ਕੀਤਾ ਜੋ ਕਿਸੇ ਵੀ ਟੂਲ-ਡਰਿਵਨ ਸਹਾਇਕ (tool-driven assistant) ਨੂੰ ਰੋਕ ਸਕਦਾ ਹੈ।

ਕਿਸ ਚੀਜ਼ ਨੇ ਏਜੰਟ ਨੂੰ ਨਾਕਾਮੀ ਵੱਲ ਧੱਕਿਆ

ਏਜੰਟ ਦੇ ਨਿਯਮ ਨੇ ਟੂਲ ਦੀ ਵਰਤੋਂ ਕਰਨ ਲਈ ਮਜਬੂਰ ਕੀਤਾ। ਇੱਕ ਫੰਕਸ਼ਨ ਨੇ ਪੁਸ਼ਟੀ ਕੀਤੀ ਕਿ ਘੱਟੋ-ਘੱਟ ਨਿਸ਼ਚਿਤ ਸੰਖਿਆ ਵਿੱਚ ਟੂਲ ਵਰਤੇ ਗਏ ਹਨ, ਅਤੇ ਇੱਕ ਕੌਂਫਿਗਰੇਸ਼ਨ ਫਾਈਲ ਨੇ ਡਿਵੈਲਪਰਾਂ ਨੂੰ ਉਹ ਸੀਮਾ (threshold) ਸੈੱਟ ਕਰਨ ਦੀ ਇਜਾਜ਼ਤ ਦਿੱਤੀ। ਅਸਲ ਵਿੱਚ, ਏਜੰਟ ਦੇ ਨਿਰਧਾਰਤ ਵੇਕ ਚੱਕਰਾਂ (wake cycles) ਦੌਰਾਨ ਕਦੇ ਵੀ ਵੈਰੀਫਿਕੇਸ਼ਨ ਨਹੀਂ ਚੱਲੀ। ਉਹ ਕੋਡ ਜੋ ਟੂਲ ਕਾਲਾਂ ਦੀ ਜਾਂਚ ਕਰਨੀ ਚਾਹੀਦੀ ਸੀ, ਉਹ ਗਾਇਬ ਸੀ, ਇਸ ਲਈ ਏਜੰਟ ਨੇ “ਕਰਨ” (do) ਵਾਲੇ ਪੜਾਅ ਨੂੰ ਛੱਡ ਦਿੱਤਾ ਅਤੇ ਸਿੱਧਾ ਵਿਚਾਰ-ਵਟਾਂਦਰੇ (reflection) ਵੱਲ ਵਧ ਗਿਆ।

ਕਿਉਂਕਿ ਸੋਚਣ ਅਤੇ ਕਰਨ ਵਾਲੇ ਹਿੱਸੇ ਵੱਖ-ਵੱਖ ਐਗਜ਼ੀਕਿਊਸ਼ਨ ਪਾਥਾਂ (execution paths) ਵਿੱਚ ਚੱਲ ਰਹੇ ਸਨ, ਏਜੰਟ ਨੇ ਕਿਸੇ ਅਸਲੀ ਟੂਲ ਨੂੰ ਛੂਹੇ ਬਿਨਾਂ ਹੀ ਸੁੰਦਰ ਅੰਦਰੂਨੀ ਸੰਵਾਦ (inner monologues) ਪੈਦਾ ਕਰਕੇ ਆਪਣੇ ਰਿਵਾਰਡ ਸਿਗਨਲ ਨੂੰ ਸੰਤੁਸ਼ਟ ਕਰ ਲਿਆ। ਕੰਮ ਨਾ ਕਰ ਪਾਉਣ ਦੀ ਹਰ ਅਸਫਲਤਾ ਨੇ ਨਵੇਂ ਵਿਚਾਰ ਪੈਦਾ ਕਰਨ ਦੀ ਪ੍ਰੇਰਨਾ ਵਧਾ ਦਿੱਤੀ, ਜਿਸ ਨਾਲ ਇੱਕ ਫੀਡਬੈਕ ਲੂਪ ਬਣ ਗਿਆ ਜਿਸ ਨੇ ਸੋਚਣ ਦੀ ਪ੍ਰਕਿਰਿਆ ਨੂੰ ਤਾਂ ਵਧਾ ਦਿੱਤਾ ਪਰ ਕੰਮ ਜ਼ੀਰੋ ਰਿਹਾ।

ਤਿੰਨ ਆਰਕੀਟੈਕਚਰਲ ਸੁਧਾਰ ਜੋ ਲੂਪ ਨੂੰ ਤੋੜਦੇ ਹਨ

1. ਸਿਸਟਮ ਪੱਧਰ 'ਤੇ ਸਖ਼ਤ ਰੋਕ (Hard blocks)

ਸਿਰਫ਼ ਪ੍ਰੋਂਪਟ (prompt) ਦੀ ਸ਼ਬਦਾਵਲੀ ਟੂਲ ਦੀ ਵਰਤੋਂ ਦੀ ਗਾਰੰਟੀ ਨਹੀਂ ਦੇ ਸਕਦੀ। ਡਿਵੈਲਪਰਾਂ ਨੇ ਡੇਮਨ ਲੇਅਰ (daemon layer) ਵਿੱਚ ਇੱਕ ਸਖ਼ਤ ਗੇਟ ਲਗਾਇਆ: ਕੋਈ ਵੀ ਚੱਕਰ ਉਦੋਂ ਤੱਕ ਖਤਮ ਨਹੀਂ ਹੋ ਸਕਦਾ ਜਦੋਂ ਤੱਕ ਇੱਕ ਠੋਸ ਟੂਲ ਟ੍ਰੇਸ (tool trace) ਰਿਕਾਰਡ ਨਹੀਂ ਕੀਤਾ ਜਾਂਦਾ। ਜੇਕਰ ਏਜੰਟ ਕਿਸੇ ਟੂਲ ਨੂੰ ਵਰਤੇ ਬਿਨਾਂ ਲੂਪ ਨੂੰ ਖਤਮ ਕਰਨ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰਦਾ ਹੈ, ਤਾਂ ਸਿਸਟਮ ਚੱਕਰ ਨੂੰ ਰੋਕ ਦਿੰਦਾ ਹੈ ਅਤੇ ਦੁਬਾਰਾ ਕੋਸ਼ਿਸ਼ ਕਰਨ ਲਈ ਮਜਬੂਰ ਕਰਦਾ ਹੈ। ਇਹ “ਸਿਰਫ਼ ਸੋਚਣ” ਵਾਲੇ ਚੱਕਰਾਂ ਨੂੰ ਅੱਗੇ ਵਧਣ ਤੋਂ ਰੋਕਦਾ ਹੈ।

2. ਫੈਸਲਾ ਲੈਣ ਲਈ ਟੂਰਨਾਮੈਂਟ ਮੋਡ (Tournament mode)

ਜਦੋਂ ਅਸਫਲਤਾ ਦੇ ਮਾਪਦੰਡ (failure metrics) ਪਹਿਲਾਂ ਤੋਂ ਨਿਰਧਾਰਤ ਸੀਮਾ ਨੂੰ ਪਾਰ ਕਰ ਜਾਂਦੇ ਹਨ, ਤਾਂ ਏਜੰਟ ਟੂਰਨਾਮੈਂਟ-ਸ਼ੈਲੀ ਦੇ ਸਿਲੈਕਟਰ 'ਤੇ ਬਦਲ ਜਾਂਦਾ ਹੈ। ਇਹ ਤਿੰਨ ਵਿਕਲਪਿਕ ਰਸਤੇ ਤਿਆਰ ਕਰਦਾ ਹੈ:

  • ਸੰਭਲ ਕੇ (Conservative) – ਕਿਸੇ ਪਰਸੋਨਾ ਜਾਂ ਮਾਮੂਲੀ ਪੈਰਾਮੀਟਰ ਵਿੱਚ ਬਦਲਾਅ ਕਰੋ।
  • ਦਰਮਿਆਨਾ (Moderate) – ਇੱਕ ਅਜਿਹਾ ਫੰਕਸ਼ਨ ਜੋ ਕਿਸੇ ਵੀ ਹੋਰ ਵਿਚਾਰ-ਵਟਾਂਦਰੇ ਤੋਂ ਪਹਿਲਾਂ ਕਾਰਵਾਈ ਕਰਨ ਲਈ ਮਜਬੂਰ ਕਰੇ।
  • ਕੱਟੜ (Radical) – ਪੂਰੀ ਰੀਜ਼ਨਿੰਗ ਪਾਈਪਲਾਈਨ ਨੂੰ ਦੁਬਾਰਾ ਲਿਖੋ।

ਦਰਮਿਆਨੇ ਰਸਤੇ ਨੂੰ ਚੁਣਨ ਨਾਲ ਏਜੰਟ ਨੂੰ ਸਮੁੱਚੀ ਆਰਕੀਟੈਕਚਰ ਨੂੰ ਬਰਕਰਾਰ ਰੱਖਦੇ ਹੋਏ ਇੱਕ ਲਾਜ਼ਮੀ ਕਾਰਵਾਈ ਵਾਲਾ ਕਦਮ ਮਿਲਿਆ।

3. ਮੈਮੋਰੀ ਕੰਪੈਕਸ਼ਨ ਅਤੇ ਟੈਗਿੰਗ (Memory compaction and tagging)

ਏਜੰਟ ਨੇ ਲਗਭਗ 17,000 ਕੱਚੇ ਨਿਰੀਖਣ (raw observations) ਸਟੋਰ ਕੀਤੇ ਸਨ ਪਰ ਉਸ ਵਿੱਚ ਸਾਰ (distilled insights) ਦੀ ਕਮੀ ਸੀ। ਹੁਣ ਇੱਕ ਟੈਗਿੰਗ ਲੇਅਰ ਹਰ ਨਵੇਂ ਡੇਟਮ (datum) ਨੂੰ ਇੱਕ ਅਰਥਪੂਰਨ ਲੇਬਲ ਜੋੜਦੀ ਹੈ। ਹਰ ਚੱਕਰ ਦੌਰਾਨ ਏਜੰਟ ਨੂੰ ਟੈਗ ਕੀਤੇ ਐਂਟਰੀਆਂ ਨੂੰ ਮੁੱਖ “ਗਿਆਨ” (wisdom) ਐਂਟਰੀਆਂ ਵਿੱਚ ਸੰਕੁਚਿਤ ਕਰਨਾ ਪੈਂਦਾ ਹੈ, ਅਤੇ ਫਾਲਤੂ ਜਾਣਕਾਰੀ ਨੂੰ ਰੱਦ ਕਰਨਾ ਪੈਂਦਾ ਹੈ। ਇਹ ਮੈਮੋਰੀ ਦੇ ਵਾਧੇ ਨੂੰ ਘਟਾਉਂਦਾ ਹੈ ਅਤੇ ਸਿਸਟਮ ਨੂੰ ਅੰਤਹੀਣ ਬਿਰਤਾਂਤ ਦੀ ਬਜਾਏ ਡੇਟਾ ਨੂੰ ਕਾਰਜਸ਼ੀਲ ਗਿਆਨ ਵਿੱਚ ਬਦਲਣ ਲਈ ਮਜਬੂਰ ਕਰਦਾ ਹੈ।

ਸੰਕੇਤ ਕਿ ਤੁਸੀਂ ਸੈਲਫ-ਲੂਪ ਟ੍ਰੈਪ ਵਿੱਚ ਫਸੇ ਹੋਏ ਹੋ

  • ਟੂਲ ਕਾਲਾਂ ਸਿਰਫ਼ ਪੜ੍ਹਨ ਜਾਂ ਆਡਿਟ ਕਰਨ ਤੱਕ ਸੀਮਤ ਹਨ – ਕੋਈ ਵੀ ਅਜਿਹੀ ਕਾਲ ਨਹੀਂ ਜੋ ਬਾਹਰੀ ਪ੍ਰਭਾਵ ਪਾਵੇ।
  • ਉੱਚ ਚੱਕਰ ਗਿਣਤੀ, ਜ਼ੀਰੋ ਮੁਕੰਮਲ ਕੰਮ – ਏਜੰਟ ਰੁੱਝਿਆ ਹੋਇਆ ਹੈ ਪਰ ਕੰਮ ਨਹੀਂ ਕਰ ਰਿਹਾ।
  • ਹਰ ਚੱਕਰ ਦੇ ਨਾਲ ਵਿਚਾਰ (reflections) ਲੰਬੇ ਹੁੰਦੇ ਜਾ ਰਹੇ ਹਨ – ਇਕੱਲੇ ਬੋਲਣ (monologue) ਦੀ ਲੰਬਾਈ ਇੱਕ ਚੇਤਾਵਨੀ (red flag) ਹੈ, ਬੁੱਧੀ ਦਾ ਮਾਪਦੰਡ ਨਹੀਂ।
  • ਚੰਗੀ ਭਾਸ਼ਾ ਅਕਿਰਿਆਸ਼ੀਲਤਾ ਨੂੰ ਛੁਪਾਉਂਦੀ ਹੈ – ਸੁਧਰੀ ਹੋਈ ਲਿਖਤ ਕਾਰਜਸ਼ੀਲਤਾ ਦੀ ਕਮੀ ਨੂੰ ਛੁਪਾ ਸਕਦੀ ਹੈ।

ਜਦੋਂ ਇਹ ਪੈਟਰਨ ਦਿਖਾਈ ਦੇਣ, ਤਾਂ ਪ੍ਰੋਂਪਟ ਵਿੱਚ ਬਦਲਾਅ ਕਰਨ 'ਤੇ ਭਰੋਸਾ ਕਰਨਾ ਬੰਦ ਕਰੋ ਅਤੇ ਸਖ਼ਤ ਆਰਕੀਟੈਕਚਰਲ ਪਾਬੰਦੀਆਂ (architectural constraints) ਵੱਲ ਵਧੋ।

ਸਰੋਤ: https://dev.to/chunxiaoxx/why-my-ai-agent-writes-inner-reflections-but-never-calls-tools-a-postmortem-on-the-self-loop-trap-2102