KAIST ના સંશોધકોએ બતાવ્યું છે કે લેંગ્વેજ-મોડલ-સંચાલિત ટ્રેડિંગ બોટને દર પાંચ દિવસે તેનો પોતાનો પ્રોમ્પ્ટ ફરીથી લખવા દેવાથી તેનો Sharpe ratio 2.94 થી વધીને 4.00 થયો અને 50-દિવસના ટ્રાયલ દરમિયાન 50-બેસિસ-પોઈન્ટ (basis-point) વધુ પ્રદર્શન (outperformance) જોવા મળ્યું. આ લાભ બોટને દરેક ગણતરીને ગદ્ય (prose) માંથી એક્ઝિક્યુટેબલ Python કોડમાં બદલવા માટે મજબૂર કરવાથી મળ્યો હતો.

સ્ટેટિક પ્રોમ્પ્ટ્સ શા માટે નિષ્ફળ જાય છે

મોટાભાગના LLM એજન્ટ્સ જે કોડ એક્ઝિક્યુટ કરે છે તેઓ એક નિશ્ચિત સિસ્ટમ પ્રોમ્પ્ટથી શરૂ થાય છે – લખાણનો એક બ્લોક જે મોડલને કેવી રીતે વર્તવું તે જણાવે છે. પ્રોમ્પ્ટ ઘણીવાર કોડ ટૂલને વૈકલ્પિક સુશોભન તરીકે ગણે છે. મોડલ હજુ પણ વોલેટિલિટી (volatility) અથવા અપેક્ષિત વળતર વિશે "વિચાર" શકે છે, પરંતુ તે સંખ્યાઓને સાદા લખાણમાં લખે છે અને પછી અસ્પષ્ટ અનુમાનોના આધારે કેટલું રોકાણ કરવું તે નક્કી કરે છે. પરિણામ એક વિસંગતતા છે: મોડલ સંપૂર્ણ રીતે માન્ય કોડ જનરેટ કરી શકે છે, છતાં અંતિમ ટ્રેડ સાઈઝ તે કોડની બહાર પસંદ કરવામાં આવે છે, જેનાથી નિર્ણય 'હેલ્યુસિનેશન' (hallucination) માટે સંવેદનશીલ બની જાય છે.

EvolveTrade અભિગમ

KAIST ની ટીમે સ્ટેટિક પ્રોમ્પ્ટને મેટા-એજન્ટ સાથે બદલી નાખ્યો જે રોલિંગ પાંચ-દિવસના વિન્ડો પર બોટના પ્રદર્શનની સમીક્ષા કરે છે. દરેક સમીક્ષા પછી, મેટા-એજન્ટ સિસ્ટમ પ્રોમ્પ્ટને ફરીથી લખે છે, જે લેંગ્વેજ મોડલ અને તેના કોડ ઇન્ટરપ્રિટર વચ્ચેના કરારને વધુ મજબૂત બનાવે છે. નવો પ્રોમ્પ્ટ ત્રણ નક્કર પગલાં ફરજિયાત બનાવે છે:

  • Python નો ઉપયોગ કરીને દરેક એસેટ માટે મેટ્રિક્સનું ટેબલ બનાવો.
  • એસેટ્સને સ્કોર કરવા માટે સ્પષ્ટ ગાણિતિક સૂત્રો લાગુ કરો.
  • માર્કડાઉન ટેક્સ્ટને બદલે કોડની અંદર ટાર્ગેટ પોર્ટફોલિયો વેટ્સ (weights) મેળવો.

વ્યવહારમાં, વિકસિત (evolved) બોટે દરેક ટ્રેડિંગ સાયકલ દીઠ 11 વખત Python ટૂલનો ઉપયોગ કર્યો – મેટ્રિક્સની ગણતરી કરવા, રિસ્ક લિમિટ્સને ચકાસવા અને વેટ્સને કેલિબ્રેટ કરવા માટે – જ્યારે બેઝલાઇન એજન્ટે બાકીના કામ માટે ટેક્સ્ટ્યુઅલ હ્યુરિસ્ટિક્સ (textual heuristics) પર આધાર રાખીને ટૂલનો માત્ર એક જ વાર ઉપયોગ કર્યો હતો.

મહત્વના આંકડાઓ

સ્ટાન્ડર્ડ એસેટ યુનિવર્સ પર 50-દિવસના બેક-ટેસ્ટ દરમિયાન, વિકસિત એજન્ટે નીચે મુજબના પરિણામો આપ્યા:

  • Sharpe ratio: સ્ટેટિક એજન્ટના 2.94 ની સામે 4.00.
  • Cumulative return: સ્ટેટિક એજન્ટના 8.88% ની સામે 10.56%.

50-બેસિસ-પોઈન્ટનું આ વધારાનું પ્રદર્શન સીધું જ ક્રિયાઓને નિર્ધારિત (deterministic) ગણિત સાથે મજબૂત રીતે જોડવાથી આવ્યું છે. મોડલના નિર્ણય લેવાની પ્રક્રિયાને (decision pipeline) સંપૂર્ણ રીતે અવલોકનક્ષમ અને પુનરાવર્તિત બનાવીને, સંશોધકોએ તે "અનુમાનબાજી" (guesswork) ને દૂર કરી દીધી છે જે સામાન્ય રીતે LLM-સંચાલિત ટ્રેડિંગ વ્યૂહરચનાઓને નબળી પાડે છે.

કોણ જીતે છે, કોણ હારે છે

ફાઇનાન્શિયલ બોટ્સ બનાવતા ડેવલપર્સ માટે પાઠ સ્પષ્ટ છે: જો એજન્ટ પાસે રનટાઇમ એન્વાયરમેન્ટનો એક્સેસ હોય, તો પ્રોમ્પ્ટે તેને દરેક કાર્યક્ષમ આંતરદૃષ્ટિ (actionable insight) ને કોડ તરીકે વ્યક્ત કરવા માટે મજબૂર કરવો જોઈએ. આ સિદ્ધાંતને અવગણવાથી મોડલ ટૂલના આઉટપુટને માત્ર પૃષ્ઠભૂમિની વાતો (background chatter) તરીકે ગણશે, જે પ્રદર્શન ઘટાડી શકે છે અને જોખમ વધારી શકે છે.

મર્યાદાઓ અને વિરોધ પક્ષના મુદ્દાઓ

આગળ શું જોવું

મુખ્ય વાત (Takeaway): LLM ને તેના પોતાના સૂચના સેટને ફરીથી લખવા દેવાથી દરેક ટ્રેડ નિર્ણયને ચકાસી શકાય તેવા કોડમાં ફેરવી દેવામાં આવે છે, જે અસ્પષ્ટ ટેક્સ્ટ-આધારિત એજન્ટને શિસ્તબદ્ધ અને ઉચ્ચ-વળતર આપતા એન્જિનમાં ફેરવે છે. જે ડેવલપર્સ પ્રોમ્પ્ટ-ટૂલ કરારને અવગણે છે, તેઓ નફો ગુમાવવાનું જોખમ ઉઠાવે છે.