Hanya Tiga Model AI yang Bertahan dalam Simulasi Startup 500 Hari

Agen AI saat ini unggul dalam tugas-tugas diskrit, tetapi mereka kesulitan dengan pemikiran strategis jangka panjang yang kompleks yang diperlukan untuk menjalankan bisnis. Sebuah tolok ukur baru bernama CEO-Bench mengungkapkan bahwa meskipun sebagian besar large language models (LLM) bangkrut dalam 500 hari simulasi, beberapa model terpilih mulai menunjukkan tanda-tanda "kecerdasan pengemudian" (steering intelligence).

Memperkenalkan CEO-Bench: Uji Kemampuan Strategis yang Mutakhir

Para peneliti telah melangkah lebih jauh dari sekadar tes prompting sederhana untuk mengembangkan CEO-Bench, sebuah simulasi ketat yang dirancang untuk mengukur kemampuan agen dalam mengarahkan seluruh organisasi menuju tujuan jangka panjang. Dalam tolok ukur ini, sebuah agen AI mengambil kendali atas "NovaMind," sebuah perusahaan perangkat lunak berlangganan fiktif, dimulai dengan modal $1 juta dan nol pelanggan.

Lingkungan ini dirancang untuk meniru volatilitas dunia nyata. Agen berinteraksi dengan Python API yang memiliki 34 alat dan database dengan 19 tabel, yang mengharuskan mereka menulis kode kustom dan kueri SQL untuk membuat keputusan. Risikonya sangat tinggi: jika saldo kas perusahaan turun di bawah nol pada titik mana pun selama periode 500 hari, simulasi akan berakhir dengan kebangkrutan.

Kompleksitas muncul dari loop umpan balik yang tertunda. Berbeda dengan agen yang berorientasi pada tugas, seorang CEO harus menavigasi lini masa R&D, siklus pasar, dan ekspektasi pelanggan yang berubah-ubah. Keputusan yang dibuat pada hari ke-10—seperti pengeluaran iklan atau tingkatan harga—mungkin tidak memberikan hasil nyata dalam pertumbuhan pelanggan atau arus kas hingga beberapa minggu kemudian.

Krisis Kebangkrutan: Mengapa Sebagian Besar Model Gagal

Hasil dari pengujian 14 model tersebut sangat mengejutkan. Meskipun sebagian besar model dapat mengeksekusi perintah dasar, mereka kekurangan strategi jangka panjang yang koheren yang diperlukan untuk tetap solven. Mayoritas agen gagal menavigasi ketidakpastian pasar dan bangkrut sebelum mencapai tanda 500 hari.

Dalam perbandingan yang mencolok, sebuah heuristik berbasis aturan sederhana—program non-AI yang menggunakan penetapan harga tetap dan penyesuaian kapasitas dasar—mencapai $15,76 juta. Hasil ini mengungguli hampir setiap LLM yang diuji, membuktikan bahwa "kecerdasan" tanpa arah sering kali lebih rendah kualitasnya dibandingkan rencana bisnis yang dasar namun disiplin.

Tiga Elit: Claude dan GPT Memimpin di Depan

Hanya tiga model yang berhasil menyelesaikan simulasi dengan modal lebih dari $1 juta awal. Model-model ini menunjukkan kemampuan untuk mengungkap informasi tersembunyi dan memprediksi arus kas di masa depan:

  • Claude Fable 5: Performa terbaik, mencapai angka yang luar biasa sebesar $47,15 juta dan menunjukkan konsistensi paling tinggi di berbagai simulasi.
  • Claude Opus 4.8: Mencapai $27,8 juta, menunjukkan kecanggihan tingkat tinggi dengan membangun simulasi internalnya sendiri untuk memodelkan kohort pelanggan.
  • GPT-5.5: Mencapai $21,3 juta, berhasil dengan menganalisis riwayat negosiasi untuk mengungkap preferensi pelanggan yang tersembunyi.

Menariknya, model-model tersebut menggunakan jalur kesuksesan yang berbeda. Sementara Opus 4.8 berfokus pada akuisisi pelanggan awal yang agresif, GPT-5.5 memprioritaskan pemeliharaan basis pelanggan yang stabil. Sebaliknya, model seperti Claude Opus 4.7 mengadopsi pola pikir "survivalist" (penyintas), yang hanya memangkas biaya untuk menghindari kebangkrutan tanpa pernah menghasilkan keuntungan yang signifikan.

Mengapa Ini Penting bagi Masa Depan AI

Kesenjangan antara agen dengan performa terbaik ($47,15 juta) dan batas atas teoretis dari simulasi ($2,2 miliar) menunjukkan bahwa "kecerdasan pengemudian" AI masih dalam tahap awal. Bagi para pengembang dan pendiri, tolok ukur ini menyoroti bahwa batas baru AI bukan sekadar penalaran yang lebih baik, melainkan kesadaran temporal yang lebih baik—kemampuan untuk mengelola sumber daya dan ekspektasi selama durasi yang panjang dan tidak pasti.

Poin-Poin Penting

  • Kesenjangan Strategis: Sebagian besar model AI saat ini kekurangan "kecerdasan pengemudian" untuk mengelola siklus bisnis jangka panjang, dengan mayoritas gagal dalam uji kelangsungan hidup 500 hari.
  • Performa Terbaik: Hanya Claude Fable 5, Claude Opus 4.8, dan GPT-5.5 yang berhasil menumbuhkan modal perusahaan melampaui $1 juta awal.
  • Tolok Ukur Heuristik: Algoritma berbasis aturan non-AI yang sederhana mengungguli hampir semua LLM, menekankan bahwa konsistensi strategis lebih vital daripada kekuatan pemrosesan mentah.