Anthropic memangkas 80% dari system prompt yang memandu Claude Code dan melaporkan tidak ada penurunan dalam kemampuannya untuk menulis kode. Eksperimen ini menunjukkan bahwa seiring dengan semakin mampunya model bahasa besar (LLM), pengembang dapat memangkas kerangka kerja (scaffolding) yang berat yang digunakan untuk menjaga model tetap pada jalurnya tanpa mengganggu performa.

Mengapa prompt tersebut penting sejak awal

Saat Claude Code diluncurkan, system prompt-nya mencantumkan puluhan aturan. Insinyur menambahkan baris baru setiap kali muncul bug, tetapi jarang menghapus apa pun yang tampaknya berfungsi. Seiring waktu, prompt tersebut tumbuh menjadi dokumen statis yang rumit.

Kesenjangan model semakin mengecil

Aturan-aturan tambahan tersebut menyembunyikan "kesenjangan model" (model gap) – perbedaan antara apa yang bisa dilakukan model dan apa yang diminta oleh aplikasi. Pada tahun 2024, pengembang harus merinci batasan yang ketat untuk mencegah model, misalnya, memberikan komentar berlebihan pada kode. Saat ini, model yang sama dapat menyimpulkan gaya yang diinginkan dari satu instruksi seperti "sesuaikan dengan gaya kode yang ada." Aturan-aturan tersebut telah berubah dari bantuan menjadi gangguan (noise).

Apa yang berubah dalam context engineering

Pemangkasan oleh Anthropic mencerminkan pergeseran yang lebih luas dalam cara pengembang menyusun prompt:

  • Instruksi kritis satu kali – nyatakan aturan sekali dan biarkan model mengingatnya.
  • Parameter berbasis alat alih-alih contoh few-shot – jelaskan bentuk input dan output dalam skema alat (tool schema) dan biarkan model mengisinya.
  • Pengungkapan progresif (progressive disclosure) – berikan hanya konteks yang diperlukan untuk langkah saat ini, dan tambahkan lebih banyak nanti jika diperlukan.
  • Pindahkan panduan statis ke deskripsi alat – hal-hal seperti "gunakan camelCase untuk variabel" seharusnya ada dalam spesifikasi alat, bukan dalam system prompt.
  • Ganti aturan hardcoded dengan heuristik – biarkan model memutuskan kapan sebuah aturan berlaku daripada memaksakannya tanpa syarat.

Taktik-taktik ini berhasil karena model sudah mengetahui banyak konvensi yang dulunya memerlukan penguatan eksplisit.

Risiko pemangkasan berlebihan

Pemangkasan yang menguntungkan model mutakhir (frontier models) dapat merugikan model yang lebih kecil. Anthropic mencatat bahwa model seperti Haiku masih mengandalkan prompt yang lebih kaya untuk tetap pada jalurnya. Menghapus terlalu banyak panduan dari model yang kurang mumpuni dapat memunculkan kembali kesalahan yang coba dicegah oleh prompt asli: penamaan yang tidak konsisten, komentar berlebihan, atau kasus tepi (edge cases) yang terlewatkan.

Cara mengaudit prompt Anda sendiri

Jika Anda mengelola alur kerja (pipeline) pembuatan kode, audit prompt dapat mengungkap beban yang tidak perlu. Daftar periksa praktisnya adalah sebagai berikut:

  • Sesuaikan kembali kepadatan instruksi – sesuaikan jumlah panduan dengan model yang sebenarnya Anda jalankan.
  • Hapus instruksi yang duplikat – jika sebuah aturan muncul baik di system prompt maupun di deskripsi alat, simpanlah hanya satu kali.
  • Ubah contoh kerja menjadi skema yang lebih kaya – ganti contoh konkret dengan tipe parameter yang terdaftar (enumerated) atau enum.
  • Eksternalisasi detail situasional – pindahkan blok referensi besar ke file terpisah yang dapat diambil oleh model sesuai kebutuhan.
  • Hapus aturan yang mencakup perilaku yang sudah hilang – jika model tidak lagi menambahkan komentar yang tidak diinginkan, hapus aturan "tanpa komentar".

Jangan mengandalkan perasaan. Gunakan "Aturan 3-Tes" yang sederhana: jalankan lima tugas pengodean yang realistis, bandingkan hasilnya sebelum dan sesudah setiap penghapusan, dan catat setiap regresi.

  1. Baseline – ukur performa dengan prompt lengkap.
  2. Delete – hapus baris atau blok kandidat.
  3. Re-run – jalankan kembali lima tugas yang sama.

Jika hasilnya berubah, Anda telah mengidentifikasi baris yang masih memiliki pengaruh. Jika tidak, baris tersebut dapat dihapus dengan aman.

Apa yang harus diperhatikan pengembang selanjutnya

Untuk saat ini, poin utamanya jelas: system prompt adalah dokumen yang hidup. Perlakukan setiap baris seolah-olah memiliki masa pakai, lakukan audit secara rutin, dan biarkan kompetensi model yang terus berkembang melakukan pekerjaan beratnya.

Source: dev.to/ialijr/your-system-prompt-has-a-shelf-life-maintaining-prompts-as-models-improve-cd9