Mengapa Prompt AI Anda Terus Gagal
Kebanyakan orang menganggap prompting AI seperti sakelar lampu. Pilihannya hanya menyala atau mati. Mereka berpikir sebuah prompt itu antara bagus atau buruk.
Ketika alur kerja AI rusak, masalahnya jarang sekali terletak pada langkah terakhir. Biasanya masalahnya ada dua atau tiga langkah sebelumnya.
Jika Anda membangun pipeline AI multi-langkah, Anda pasti merasakan hal ini. Anda menggunakan satu prompt untuk meringkas. Anda menggunakan prompt lain untuk mengekstrak poin-poin. Anda menggunakan prompt ketiga untuk memformat hasilnya.
Suatu hari, hasil akhirnya terlihat salah. Anda menulis ulang prompt terakhir. Anda mengubah sedikit prompt di tengah. Anda mengubah prompt yang pertama. Berjam-jam berlalu dan tidak ada yang membaik.
Ini terjadi karena setiap prompt bergantung pada output dari langkah sebelumnya. Ekstraksi data yang buruk pada langkah pertama akan merusak segalanya.
Peneliti di Cisco Foundation AI menciptakan sistem bernama FAPO untuk memperbaiki hal ini. Sistem ini mengevaluasi setiap langkah dalam sebuah pipeline secara independen. Ia menemukan dengan tepat di mana kegagalan terjadi dan menyarankan perbaikan untuk level spesifik tersebut.
Anda tidak memerlukan alat khusus untuk menggunakan logika ini. Anda dapat menerapkan diagnosis tingkat langkah secara manual hari ini.
Berhentilah berasumsi bahwa langkah terakhir adalah masalahnya. Ujilah setiap langkah secara terpisah.
Contoh: Anda mengubah transkrip wawancara menjadi postingan blog.
- Langkah 1: Ringkas transkrip.
- Langkah 2: Ekstrak tema.
- Langkah 3: Buat draf artikel.
Jika artikelnya terasa generik, jangan hanya menulis ulang Langkah 3.
Pertama, jalankan Langkah 1 saja. Apakah ringkasannya kehilangan detail? Jika ya, perbaiki Langkah 1.
Kedua, berikan Langkah 2 ringkasan sempurna yang Anda tulis sendiri. Apakah temanya masih generik? Jika ya, perbaiki Langkah 2.
Ketiga, berikan Langkah 3 ringkasan yang sempurna dan tema yang sempurna. Jika artikelnya sekarang sudah bagus, Anda tahu bahwa Langkah 3 bukanlah masalahnya.
Proses ini memakan waktu 20 menit. Ini lebih baik daripada menebak-nebak selama berjam-jam.
Cara memperbaiki alur kerja Anda minggu ini:
- Petakan alur kerja Anda di atas kertas. Cantumkan setiap langkah AI.
- Tambahkan pemeriksaan kualitas setelah setiap langkah. Tanyakan: "Apakah output ini cukup baik agar langkah berikutnya berhasil?"
- Bangun perpustakaan pengujian. Simpan contoh input yang baik dan buruk untuk setiap langkah.
- Ubah satu hal dalam satu waktu. Jangan pernah mengubah dua prompt sekaligus.
AI yang andal adalah proses iteratif. Ini bukan tindakan kreatif satu kali saja.
Bagaimana pengalaman Anda dengan hal ini? Beritahu saya di kolom komentar.
Komunitas pembelajaran opsional: https://t.me/GyaanSetuAi