Tim Anda Tidak Membutuhkan Model AI yang Lebih Baik Minggu Ini

Berhentilah mencari model AI baru. Peningkatan nyata yang Anda butuhkan adalah alur kerja (workflow) Anda.

Sebagian besar tim berfokus pada model mana yang terasa lebih cerdas. Mereka melakukan benchmark pada rilis terbaru dan berdebat tentang kecerdasan. Namun jika Anda membangun sesuatu dengan LLM, Anda tahu masalah sebenarnya. Masalahnya bukan pada kode yang buruk. Masalahnya adalah eksekusi yang buruk.

Anda melihat masalah-masalah ini:

  • Loop agen yang berhenti di tengah jalan saat mengerjakan tugas.
  • Prompt persetujuan yang membingungkan orang.
  • Rantai konteks yang terputus saat melakukan percobaan ulang (retry).
  • Manusia yang harus membereskan kekacauan karena otomatisasi kehilangan statusnya (state).

Kecerdasan terus meningkat, tetapi kontrol operasional tertinggal. Kita sedang memasuki era orchestration tax (pajak orkestrasi). Jika Anda tidak merencanakannya, Anda akan membayarnya dengan gangguan sistem (outages) dan kegagalan yang tidak terdeteksi (silent failures).

Output AI jarang sekali menjadi produk akhir. Ia hanyalah langkah perantara dalam sistem yang lebih besar. Anda harus menjawab pertanyaan-pertanyaan ini:

  • Dapatkah tugas dilanjutkan kembali setelah timeout?
  • Dapatkah kita mengaudit setiap persetujuan?
  • Dapatkah kita menjalankan ulang langkah-langkah tanpa tindakan duplikat?
  • Dapatkah manusia mengambil alih di tengah proses?

Insinyur senior telah memecahkan masalah ini bertahun-tahun yang lalu dalam sistem pembayaran dan pekerjaan latar belakang (background jobs). Kami menggunakan kunci idempotensi (idempotency keys), checkpoint, dan log transaksi. AI tidak menciptakan masalah ini. AI hanya membuatnya terjadi lebih cepat.

Jangan memilih model sebelum Anda memilih kontrak eksekusi Anda. Itu seperti memilih mesin balap untuk mobil tanpa rem.

Bangun alur kerja yang andal menggunakan langkah-langkah berikut:

  1. Bagi pekerjaan AI menjadi langkah-langkah kecil Jangan gunakan satu prompt raksasa. Pecahlah menjadi: kumpulkan konteks, usulkan perubahan, jalankan pemeriksaan, minta persetujuan, dan terapkan perubahan.

  2. Gunakan penyimpanan yang tahan lama (durable storage) Gunakan database untuk melacak status, langkah, dan jumlah percobaan. Jika seorang worker mengalami crash, Anda dapat pulih dari status (state), bukan dari memori.

  3. Terapkan idempotensi Setiap tindakan yang mengubah data memerlukan kunci yang stabil. Jika sebuah langkah dijalankan dua kali, hasilnya harus tetap sama.

  4. Kelola izin dengan tingkatan (tiers) Berhentilah meminta persetujuan terus-menerus. Buatlah tingkatan:

  • Tier 0: Tugas baca-saja (disetujui otomatis).
  • Tier 1: Penulisan risiko rendah (persetujuan berkelompok/batched).
  • Tier 2: Tugas berdampak tinggi (human checkpoint).
  1. Lacak metrik operasional Berhentilah hanya melihat latensi dan biaya. Lacak tingkat timeout, keberhasilan retry, dan frekuensi rollback.

Tim AI terbaik tidak akan menyombongkan prompt ajaib. Mereka akan menjalankan pipeline yang membosankan, tahan lama, dan dapat diobservasi. Keunggulan mereka bukan pada modelnya. Keunggulan mereka adalah rekayasa sistem yang disiplin.

Source: https://dev.to/chrisbuildsonline/your-team-doesnt-need-a-better-ai-model-this-week-29l4

Optional learning community: https://t.me/GyaanSetuAi