500 ദിവസത്തെ സ്റ്റാർട്ടപ്പ് സിമുലേഷനിൽ മൂന്ന് AI മോഡലുകൾ മാത്രം അതിജീവിച്ചു

നിലവിലെ AI ഏജന്റുകൾ പ്രത്യേക ജോലികളിൽ (discrete tasks) മികവ് പുലർത്തുന്നുണ്ടെങ്കിലും, ഒരു ബിസിനസ്സ് നടത്താൻ ആവശ്യമായ സങ്കീർണ്ണവും ദീർഘകാലത്തേതുമായ തന്ത്രപരമായ ചിന്താഗതിയിൽ (strategic thinking) അവ പാtoകുന്നു. CEO-Bench എന്ന പുതിയ ബെഞ്ച്മാർക്ക് വെളിപ്പെടുത്തുന്നത്, മിക്ക ലാർജ് ലാംഗ്വേജ് മോഡലുകളും (LLMs) 500 സിമുലേറ്റഡ് ദിവസത്തിനുള്ളിൽ പാപ്പരാകുന്നുണ്ടെന്നും എന്നാൽ തിരഞ്ഞെടുത്ത ചില മോഡലുകൾ "സ്റ്റിയറിംഗ് ഇന്റലിജൻസ്" (steering intelligence) കാണിച്ചു തുടങ്ങുന്നുണ്ടെന്നുമാണ്.

CEO-Bench പരിചയപ്പെടുത്തുന്നു: തന്ത്രപരമായ ബുദ്ധിശക്തിയുടെ പരമമായ പരീക്ഷണം

ഒരു ഏജന്റിന് ഒരു മുഴുവൻ സ്ഥാപനത്തെ ദീർഘകാല ലക്ഷ്യങ്ങളിലേക്ക് നയിക്കാനുള്ള കഴിവിനെ അളക്കുന്നതിനായി ഗവേഷകർ ലളിതമായ പ്രോംപ്റ്റിംഗ് ടെസ്റ്റുകൾക്ക് അപ്പുറം CEO-Bench എന്ന കർശനമായ സിമുലേഷൻ വികസിപ്പിച്ചെടുത്തിട്ടുണ്ട്. ഈ ബെഞ്ച്മാർക്കിൽ, ഒരു AI ഏജന്റ് "NovaMind" എന്ന സാങ്കൽപ്പിക സബ്‌സ്‌ക്രിപ്‌ഷൻ സോഫ്റ്റ്‌വെയർ കമ്പനിയുടെ നിയന്ത്രണം ഏറ്റെടുക്കുന്നു. 1 മില്യൺ ഡോളർ മൂലധനവും പൂജ്യം ഉപഭോക്താക്കളുമായാണ് ഇത് ആരംഭിക്കുന്നത്.

യഥാർത്ഥ ലോകത്തിന്റെ ചാഞ്ചാട്ടങ്ങളെ അനുകരിക്കുന്ന രീതിയിലാണ് ഈ സാഹചര്യം രൂപകൽപ്പന ചെയ്തിരിക്കുന്നത്. ഏജന്റുകൾ 34 ടൂളുകളുള്ള ഒരു Python API-യുമായും 19 ടേബിളുകളുള്ള ഒരു ഡാറ്റാബേസുമായും ഇടപഴകുന്നു. തീരുമാനങ്ങൾ എടുക്കുന്നതിനായി അവർക്ക് കസ്റ്റം കോഡുകളും SQL ക്വറികളും എഴുതേണ്ടതുണ്ട്. ഇതിൽ റിസ്ക് വളരെ കൂടുതലാണ്: 500 ദിവസത്തെ കാലയളവിൽ ഏത് ഘട്ടത്തിലും കമ്പനിയുടെ പണമിടപാട് ബാലൻസ് പൂജ്യത്തിന് താഴെയായാൽ, സിമുലേഷൻ പാപ്പരത്തത്തിൽ അവസാനിക്കും.

വൈകിയുള്ള ഫീഡ്‌ബാക്ക് ലൂപ്പുകളിൽ നിന്നാണ് സങ്കീർണ്ണത ഉണ്ടാകുന്നത്. ജോലികൾ മാത്രം ലക്ഷ്യമിടുന്ന ഏജന്റുകളിൽ നിന്ന് വ്യത്യസ്തമായി, ഒരു CEO-യ്ക്ക് R&D ടൈംലൈനുകൾ, മാർക്കറ്റ് സൈക്കിളുകൾ, മാറിക്കൊണ്ടിരിക്കുന്ന ഉപഭോക്തൃ പ്രതീക്ഷകൾ എന്നിവ കൈകാര്യം ചെയ്യേണ്ടതുണ്ട്. പത്താം ദിവസം എടുക്കുന്ന തീരുമാനങ്ങൾ—പരസ്യത്തിനായുള്ള ചിലവ് അല്ലെങ്കിൽ പ്രൈസിംഗ് ടയറുകൾ പോലെ—സബ്‌സ്‌ക്രൈബർ വളർച്ചയിലോ ക്യാഷ് ഫ്ലോയിലോ ആഴ്ചകൾക്ക് ശേഷം മാത്രമേ പ്രകടമായ ഫലങ്ങൾ നൽകുകയുള്ളൂ.

പാപ്പരത്ത പ്രതിസന്ധി: എന്തുകൊണ്ട് ഭൂരിഭാഗം മോഡലുകളും പരാജയപ്പെടുന്നു

14 മോഡലുകൾ നടത്തിയ പരീക്ഷണത്തിന്റെ ഫലങ്ങൾ ഗൗരവതരമാണ്. ഭൂരിഭാഗം മോഡലുകൾക്കും അടിസ്ഥാന കമാൻഡുകൾ നടപ്പിലാക്കാൻ കഴിയുമെങ്കിലും, സാമ്പത്തികമായി നിലനിൽക്കാൻ ആവശ്യമായ വ്യക്തമായ ദീർഘകാല തന്ത്രങ്ങൾ അവയ്ക്കുണ്ടായിരുന്നില്ല. ഭൂരിഭാഗം ഏജന്റുകളും വിപണിയിലെ അനിശ്ചിതത്വങ്ങളെ നേരിടുന്നതിൽ പരാജയപ്പെടുകയും 500 ദിവസം പൂർത്തിയാകുന്നതിന് മുമ്പ് പാപ്പരാവുകയും ചെയ്തു.

ശ്രദ്ധേയമായ ഒരു താരതമ്യത്തിൽ, നിശ്ചിത വിലനിർണ്ണയവും അടിസ്ഥാന ശേഷി ക്രമീകരണങ്ങളും ഉപയോഗിക്കുന്ന ഒരു ലളിതമായ റൂൾ-ബേസ്ഡ് ഹ്യൂറിസ്റ്റിക്—ഒരു നോൺ-AI പ്രോഗ്രാം—15.76 മില്യൺ ഡോളർ കൈവരിച്ചു. ഇത് പരീക്ഷിച്ച മിക്കവാറും എല്ലാ LLM-കളെക്കാളും മികച്ച പ്രകടനം കാഴ്ചവെച്ചു. ലക്ഷ്യബോധമില്ലാത്ത "ബുദ്ധിശക്തി" പലപ്പോഴും ഒരു അടിസ്ഥാനപരവും അച്ചടക്കമുള്ളതുമായ ബിസിനസ് പ്ലാനിനേക്കാൾ പിന്നിലാണെന്ന് ഇത് തെളിയിക്കുന്നു.

മികച്ച മൂന്ന് മോഡലുകൾ: Claude-ഉം GPT-യും മുന്നിൽ

തുടക്കത്തിലെ 1 മില്യൺ ഡോളർ മൂലധനത്തേക്കാൾ കൂടുതൽ തുകയോടെ റൺ പൂർത്തിയാക്കാൻ മൂന്ന് മോഡലുകൾക്ക് മാത്രമേ സാധിച്ചുള്ളൂ. ഒളിഞ്ഞിരിക്കുന്ന വിവരങ്ങൾ കണ്ടെത്താനും ഭാവിയിലെ ക്യാഷ് ഫ്ലോ പ്രവചിക്കാനുമുള്ള കഴിവ് ഈ മോഡലുകൾ പ്രകടിപ്പിച്ചു:

• Claude Fable 5: ഏറ്റവും മികച്ച പ്രകടനം കാഴ്ചവെച്ച മോഡൽ; 47.15 മില്യൺ ഡോളർ എന്ന വൻതുക കൈവരിക്കുകയും ഒന്നിലധികം റണ്ണുകളിൽ ഏറ്റവും കൂടുതൽ സ്ഥിരത കാണിക്കുകയും ചെയ്തു.
• Claude Opus 4.8: 27.8 മില്യൺ ഡോളർ കൈവരിച്ചു; ഉപഭോക്താക്കളുടെ ഗ്രൂപ്പുകളെ (customer cohorts) വിശകലനം ചെയ്യാൻ സ്വന്തമായി ഒരു ഇന്റേണൽ സിമുലേഷൻ നിർമ്മിച്ചുകൊണ്ട് ഉയർന്ന നിലവാരത്തിലുള്ള വൈദഗ്ധ്യം പ്രകടിപ്പിച്ചു.
• GPT-5.5: 21.3 മില്യൺ ഡോളർ കൈവരിച്ചു; ഉപഭോക്താക്കളുടെ ഒളിഞ്ഞിരിക്കുന്ന താൽപ്പര്യങ്ങൾ കണ്ടെത്താനായി നെഗോഷ്യേഷൻ ഹിസ്റ്ററികൾ വിശകലനം ചെയ്തുകൊണ്ട് വിജയം നേടി.

രസകരമായ കാര്യം, ഈ മോഡലുകൾ വിജയത്തിനായി വ്യത്യസ്ത പാതകളാണ് സ്വീകരിച്ചത് എന്നതാണ്. Opus 4.8 തുടക്കത്തിൽ തന്നെ കൂടുതൽ ഉപഭോക്താക്കളെ ആകർഷിക്കുന്നതിൽ ശ്രദ്ധ കേന്ദ്രീകരിച്ചപ്പോൾ, GPT-5.5 സ്ഥിരതയുള്ള ഒരു ഉപഭോക്തൃ അടിത്തറ നിലനിർത്തുന്നതിനാണ് മുൻഗണന നൽകിയത്. നേരെമറിച്ച്, Claude Opus 4.7 പോലുള്ള മോഡലുകൾ ഒരു "സർവൈവലിസ്റ്റ്" (survivalist) മനോഭാവമാണ് സ്വീകരിച്ചത്; ലാഭം ഉണ്ടാക്കുന്നതിനേക്കാൾ പാപ്പരത്തം ഒഴിവാക്കാൻ ചിലവുകൾ കുറയ്ക്കുക എന്നതായിരുന്നു അവയുടെ രീതി.

എന്തുകൊണ്ട് ഇത് AI-യുടെ ഭാവിക്ക് പ്രധാനമാണ്

ഏറ്റവും മികച്ച പ്രകടനം കാഴ്ചവെച്ച ഏജന്റും ($47.15M) സിമുലേഷന്റെ സിദ്ധാന്തപരമായ പരമാവധി പരിധിയും ($2.2B) തമ്മിലുള്ള വ്യത്യാസം സൂചിപ്പിക്കുന്നത് AI-യുടെ "സ്റ്റിയറിംഗ് ഇന്റലിജൻസ്" ഇപ്പോഴും അതിന്റെ പ്രാരംഭ ഘട്ടത്തിലാണെന്നാണ്. ഡെവലപ്പർമാർക്കും സ്ഥാപകർക്കും ഈ ബെഞ്ച്മാർക്ക് നൽകുന്ന സന്ദേശം, AI-യുടെ അടുത്ത ഘട്ടം മികച്ച യുക്തിചിന്ത (reasoning) മാത്രമല്ല, മറിച്ച് മികച്ച 'ടെമ്പറൽ അവയർനസ്' (temporal awareness) ആണെന്നാണ്—അതായത്, ദീർഘകാലത്തെ അനിശ്ചിതത്വങ്ങൾക്കിടയിൽ വിഭവങ്ങളും പ്രതീക്ഷകളും കൈകാര്യം ചെയ്യാനുള്ള കഴിവ്.

പ്രധാന കാര്യങ്ങൾ

• തന്ത്രപരമായ വിടവ് (Strategic Gap): ഭൂരിഭാഗം നിലവിലെ AI മോഡലുകൾക്കും ദീർഘകാല ബിസിനസ് സൈക്കിളുകൾ കൈകാര്യം ചെയ്യാനുള്ള "സ്റ്റിയറിംഗ് ഇന്റലിജൻസ്" ഇല്ല, അതിനാൽ തന്നെ ഭൂരിഭാഗവും 500 ദിവസത്തെ അതിജീവന പരീക്ഷണത്തിൽ പരാജയപ്പെടുന്നു.
• മികച്ച പ്രകടനം കാഴ്ചവെച്ചവ: Claude Fable 5, Claude Opus 4.8, GPT-5.5 എന്നിവയ്ക്ക് മാത്രമാണ് കമ്പനിയുടെ മൂലധനം തുടക്കത്തിലെ 1 മില്യൺ ഡോളറിൽ നിന്ന് വർദ്ധിപ്പിക്കാൻ സാധിച്ചത്.
• ഹ്യൂറിസ്റ്റിക് ബെഞ്ച്മാർക്ക്: ഒരു ലളിതമായ നോൺ-AI റൂൾ-ബേസ്ഡ് അൽഗോരിതം മിക്കവാറും എല്ലാ LLM-കളെക്കാളും മികച്ച പ്രകടനം കാഴ്ചവെച്ചു. ഇത് പ്രോസസ്സിംഗ് പവറിനേക്കാൾ തന്ത്രപരമായ സ്ഥിരതയാണ് (strategic consistency) കൂടുതൽ പ്രധാനമെന്ന് അടിവരയിടുന്നു.