KAIST ਦੇ ਖੋਜਕਰਤਾਵਾਂ ਨੇ ਦਿਖਾਇਆ ਹੈ ਕਿ ਇੱਕ ਲੈਂਗੂਏਜ-ਮਾਡਲ-ਡਰਾਈਵਨ (language-model-driven) ਟ੍ਰੇਡਿੰਗ ਬੋਟ ਨੂੰ ਹਰ ਪੰਜ ਦਿਨਾਂ ਬਾਅਦ ਆਪਣੇ ਪ੍ਰੋਂਪਟ (prompt) ਨੂੰ ਖੁਦ ਲਿਖਣ ਦੀ ਇਜਾਜ਼ਤ ਦੇਣ ਨਾਲ ਇਸਦਾ Sharpe ratio 2.94 ਤੋਂ ਵਧ ਕੇ 4.00 ਹੋ ਗਿਆ ਅਤੇ 50-ਦਿਨਾਂ ਦੇ ਟ੍ਰਾਇਲ ਦੌਰਾਨ 50-ਬੇਸਿਸ-ਪੁਆਇੰਟ (basis-point) ਵਧੀਆ ਪ੍ਰਦਰਸ਼ਨ ਦੇਖਣ ਨੂੰ ਮਿਲਿਆ। ਇਹ ਲਾਭ ਬੋਟ ਨੂੰ ਹਰ ਗਣਨਾ (calculation) ਨੂੰ ਸਾਧਾਰਨ ਲਿਖਤ (prose) ਤੋਂ ਹਟਾ ਕੇ ਐਗਜ਼ੀਕਿਊਟੇਬਲ (executable) Python ਕੋਡ ਵਿੱਚ ਬਦਲਣ ਲਈ ਮਜਬੂਰ ਕਰਨ ਕਾਰਨ ਮਿਲਿਆ।

ਸਟੈਟਿਕ ਪ੍ਰੋਂਪਟ ਕਿਉਂ ਅਸਫਲ ਰਹਿੰਦੇ ਹਨ

ਜ਼ਿਆਦਾਤਰ LLM ਏਜੰਟ ਜੋ ਕੋਡ ਚਲਾਉਂਦੇ ਹਨ, ਇੱਕ ਨਿਸ਼ਚਿਤ ਸਿਸਟਮ ਪ੍ਰੋਂਪਟ (system prompt) ਨਾਲ ਸ਼ੁਰੂ ਹੁੰਦੇ ਹਨ – ਟੈਕਸਟ ਦਾ ਇੱਕ ਹਿੱਸਾ ਜੋ ਮਾਡਲ ਨੂੰ ਦੱਸਦਾ ਹੈ ਕਿ ਉਸਨੂੰ ਕਿਵੇਂ ਵਿਵਹਾਰ ਕਰਨਾ ਹੈ। ਪ੍ਰੋਂਪਟ ਅਕਸਰ ਕੋਡ ਟੂਲ ਨੂੰ ਇੱਕ ਵਿਕਲਪਿਕ ਸਜਾਵਟ ਵਜੋਂ ਮੰਨਦਾ ਹੈ। ਮਾਡਲ ਅਜੇ ਵੀ ਵੋਲੈਟਿਲਟੀ (volatility) ਜਾਂ ਸੰਭਾਵਿਤ ਰਿਟਰਨ ਬਾਰੇ "ਸੋਚ" ਸਕਦਾ ਹੈ, ਪਰ ਇਹ ਨੰਬਰਾਂ ਨੂੰ ਸਾਧਾਰਨ ਟੈਕਸਟ ਵਿੱਚ ਲਿਖਦਾ ਹੈ ਅਤੇ ਫਿਰ ਅੰਦਾਜ਼ੇ ਦੇ ਅਧਾਰ 'ਤੇ ਫੈਸਲਾ ਕਰਦਾ ਹੈ ਕਿ ਕਿੰਨਾ ਨਿਵੇਸ਼ ਕਰਨਾ ਹੈ। ਨਤੀਜਾ ਇੱਕ ਅਸੰਗਤੀ ਹੈ: ਮਾਡਲ ਬਿਲਕੁਲ ਸਹੀ ਕੋਡ ਤਿਆਰ ਕਰ ਸਕਦਾ ਹੈ, ਫਿਰ ਵੀ ਅੰਤਿਮ ਟ੍ਰੇਡ ਦਾ ਆਕਾਰ ਉਸ ਕੋਡ ਤੋਂ ਬਾਹਰ ਚੁਣਿਆ ਜਾਂਦਾ ਹੈ, ਜਿਸ ਨਾਲ ਫੈਸਲਾ ਹਲੂਸੀਨੇਸ਼ਨ (hallucination) ਦਾ ਸ਼ਿਕਾਰ ਹੋ ਸਕਦਾ ਹੈ।

EvolveTrade ਪਹੁੰਚ

KAIST ਦੀ ਟੀਮ ਨੇ ਸਟੈਟਿਕ ਪ੍ਰੋਂਪਟ ਨੂੰ ਇੱਕ ਮੈਟਾ-ਏਜੰਟ (meta-agent) ਨਾਲ ਬਦਲ ਦਿੱਤਾ ਜੋ ਹਰ ਪੰਜ ਦਿਨਾਂ ਦੇ ਸਮੇਂ ਵਿੱਚ ਬੋਟ ਦੇ ਪ੍ਰਦਰਸ਼ਨ ਦੀ ਸਮੀਖਿਆ ਕਰਦਾ ਹੈ। ਹਰ ਸਮੀਖਿਆ ਤੋਂ ਬਾਅਦ, ਮੈਟਾ-ਏਜੰਟ ਸਿਸਟਮ ਪ੍ਰੋਂਪਟ ਨੂੰ ਦੁਬਾਰਾ ਲਿਖਦਾ ਹੈ, ਜਿਸ ਨਾਲ ਲੈਂਗੂਏਜ ਮਾਡਲ ਅਤੇ ਇਸਦੇ ਕੋਡ ਇੰਟਰਪ੍ਰੇਟਰ (code interpreter) ਵਿਚਕਾਰ ਸਬੰਧ ਹੋਰ ਮਜ਼ਬੂਤ ਹੋ ਜਾਂਦੇ ਹਨ। ਨਵਾਂ ਪ੍ਰੋਂਪਟ ਤਿੰਨ ਖਾਸ ਕਦਮਾਂ ਦੀ ਮੰਗ ਕਰਦਾ ਹੈ:

  • Python ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਹਰ ਐਸੇਟ (asset) ਲਈ ਮੈਟ੍ਰਿਕਸ (metrics) ਦੀ ਇੱਕ ਟੇਬਲ ਬਣਾਓ।
  • ਐਸੇਟਸ ਨੂੰ ਸਕੋਰ ਕਰਨ ਲਈ ਸਪੱਸ਼ਟ ਗਣਿਤਕ ਫਾਰਮੂਲੇ ਲਾਗੂ ਕਰੋ।
  • ਮਾਰਕਡਾਊਨ ਟੈਕਸਟ ਦੀ ਬਜਾਏ ਕੋਡ ਦੇ ਅੰਦਰ ਹੀ ਟਾਰਗੇਟ ਪੋਰਟਫੋਲੀਓ ਵੇਟਸ (target portfolio weights) ਤੈਅ ਕਰੋ।

ਅਸਲ ਵਿੱਚ, ਵਿਕਸਿਤ ਕੀਤੇ ਗਏ ਬੋਟ ਨੇ ਹਰ ਟ੍ਰੇਡਿੰਗ ਚੱਕਰ ਵਿੱਚ 11 ਵਾਰ Python ਟੂਲ ਦੀ ਵਰਤੋਂ ਕੀਤੀ – ਮੈਟ੍ਰਿਕਸ ਦੀ ਗਣਨਾ ਕਰਨ, ਜੋਖਮ ਦੀਆਂ ਸੀਮਾਵਾਂ ਦੀ ਪੁਸ਼ਟੀ ਕਰਨ ਅਤੇ ਵੇਟਸ (weights) ਨੂੰ ਕੈਲੀਬਰੇਟ ਕਰਨ ਲਈ – ਜਦੋਂ ਕਿ ਬੇਸਲਾਈਨ ਏਜੰਟ ਨੇ ਸਿਰਫ ਇੱਕ ਵਾਰ ਟੂਲ ਦੀ ਵਰਤੋਂ ਕੀਤੀ, ਅਤੇ ਬਾਕੀ ਲਈ ਟੈਕਸਟਅਲ ਹਿਊਰਿਸਟਿਕਸ (textual heuristics) 'ਤੇ ਨਿਰਭਰ ਰਿਹਾ।

ਮਹੱਤਵਪੂਰਨ ਅੰਕੜੇ

ਇੱਕ ਮਿਆਰੀ ਐਸੇਟ ਯੂਨੀਵਰਸ 'ਤੇ 50-ਦਿਨਾਂ ਦੇ ਬੈਕ-ਟੈਸਟ (back-test) ਦੌਰਾਨ, ਵਿਕਸਿਤ ਏਜੰਟ ਨੇ ਇਹ ਨਤੀਜੇ ਦਿਖਾਏ:

  • Sharpe ratio: ਸਟੈਟਿਕ ਏਜੰਟ ਦੇ 2.94 ਦੇ ਮੁਕਾਬਲੇ 4.00।
  • Cumulative return: ਸਟੈਟਿਕ ਏਜੰਟ ਦੇ 8.88% ਦੇ ਮੁਕਾਬਲੇ 10.56%।

50-ਬੇਸਿਸ-ਪੁਆਇੰਟ ਦਾ ਵਧੀਆ ਪ੍ਰਦਰਸ਼ਨ ਸਿੱਧੇ ਤੌਰ 'ਤੇ ਕਾਰਵਾਈਆਂ ਨੂੰ ਨਿਸ਼ਚਿਤ ਗਣਿਤ (deterministic math) ਨਾਲ ਮਜ਼ਬੂਤੀ ਨਾਲ ਜੋੜਨ ਕਾਰਨ ਹੋਇਆ ਹੈ। ਮਾਡਲ ਦੇ ਫੈਸਲੇ ਲੈਣ ਦੀ ਪ੍ਰਕਿਰਿਆ ਨੂੰ ਪੂਰੀ ਤਰ੍ਹਾਂ ਦੇਖਣਯੋਗ ਅਤੇ ਦੁਹਰਾਉਣਯੋਗ ਬਣਾ ਕੇ, ਖੋਜਕਰਤਾਵਾਂ ਨੇ ਉਸ "ਅੰਦਾਜ਼ੇ" ਨੂੰ ਖਤਮ ਕਰ ਦਿੱਤਾ ਹੈ ਜੋ ਆਮ ਤੌਰ 'ਤੇ LLM-ਡਰਾਈਵਨ ਟ੍ਰੇਡਿੰਗ ਰਣਨੀਤੀਆਂ ਨੂੰ ਕਮਜ਼ੋਰ ਕਰਦਾ ਹੈ।

ਕੌਣ ਜਿੱਤਦਾ ਹੈ, ਕੌਣ ਹਾਰਦਾ ਹੈ

ਵਿੱਤੀ ਬੋਟ ਬਣਾਉਣ ਵਾਲੇ ਡਿਵੈਲਪਰਾਂ ਲਈ ਸਬਕ ਸਪੱਸ਼ਟ ਹੈ: ਜੇਕਰ ਏਜੰਟ ਕੋਲ ਰਨਟਾਈਮ ਵਾਤਾਵਰਣ (runtime environment) ਤੱਕ ਪਹੁੰਚ ਹੈ, ਤਾਂ ਪ੍ਰੋਂਪਟ ਨੂੰ ਇਸਨੂੰ ਹਰ ਕਾਰਵਾਈਯੋਗ ਜਾਣਕਾਰੀ ਨੂੰ ਕੋਡ ਵਜੋਂ ਪ੍ਰਗਟ ਕਰਨ ਲਈ ਮਜਬੂਰ ਕਰਨਾ ਚਾਹੀਦਾ ਹੈ। ਇਸ ਸਿਧਾਂਤ ਨੂੰ ਨਜ਼ਰਅੰਦਾਜ਼ ਕਰਨ ਨਾਲ ਮਾਡਲ ਟੂਲ ਦੇ ਆਉਟਪੁੱਟ ਨੂੰ ਸਿਰਫ ਪਿਛੋਕੜ ਦੀ ਗੱਲਬਾਤ ਵਜੋਂ ਮੰਨ ਲੈਂਦਾ ਹੈ, ਜੋ ਕਿ ਪ੍ਰਦਰਸ਼ਨ ਨੂੰ ਘਟਾ ਸਕਦਾ ਹੈ ਅਤੇ ਜੋਖਮ ਵਧਾ ਸਕਦਾ ਹੈ।

ਸੀਮਾਵਾਂ ਅਤੇ ਵਿਰੋਧੀ ਨੁਕਤੇ

ਅੱਗੇ ਕੀ ਦੇਖਣਾ ਹੈ

ਮੁੱਖ ਨੁਕਤਾ: ਇੱਕ LLM ਨੂੰ ਆਪਣੇ ਨਿਰਦੇਸ਼ਾਂ ਦੇ ਸਮੂਹ ਨੂੰ ਦੁਬਾਰਾ ਲਿਖਣ ਦੀ ਇਜਾਜ਼ਤ ਦੇਣ ਨਾਲ ਹਰ ਟ੍ਰੇਡ ਫੈਸਲੇ ਨੂੰ ਪ੍ਰਮਾਣਿਤ ਕੋਡ ਵਿੱਚ ਬਦਲ ਦਿੱਤਾ ਜਾਂਦਾ ਹੈ, ਜੋ ਕਿ ਇੱਕ ਅਸਪਸ਼ਟ ਟੈਕਸਟ-ਅਧਾਰਤ ਏਜੰਟ ਨੂੰ ਇੱਕ ਅਨੁਸ਼ਾਸਿਤ, ਉੱਚ-ਰਿਟਰਨ ਵਾਲੇ ਇੰਜਣ ਵਿੱਚ ਬਦਲ ਦਿੰਦਾ ਹੈ। ਜੋ ਡਿਵੈਲਪਰ ਪ੍ਰੋਂਪਟ-ਟੂਲ ਸਮਝੌਤੇ ਨੂੰ ਨਜ਼ਰਅੰਦਾਜ਼ ਕਰਦੇ ਹਨ, ਉਹਨਾਂ ਨੂੰ ਆਰਥਿਕ ਮੌਕੇ ਗੁਆਉਣ ਦਾ ਖਤਰਾ ਰਹਿੰਦਾ ਹੈ।