Saya Menempatkan Agen AI di Depan 20 Tahun Tiket Dukungan

Kami memiliki sistem helpdesk dengan satu juta tiket. Kami memiliki 2.400 manual dan dua codebase yang sangat besar.

Ketika seorang pengembang bertanya apakah kami pernah menyelesaikan masalah sebelumnya, jawabannya selalu ya. Datanya hanya terkubur. Staf senior membuang waktu berjam-jam untuk mencari. Junior membuang waktu berminggu-minggu.

Saya membangun agen AI untuk menangani semua data ini. Sekarang sudah masuk tahap produksi. Inilah yang sebenarnya terjadi.

Datanya bukanlah bagian yang sulit. Mengetahui di mana harus mencari adalah bagian yang sulit. Membuat agen berhenti mengarang informasi bahkan lebih sulit lagi.

Cara kerjanya:

  • Satu agen dengan input bahasa alami.
  • Ia membaca database helpdesk, alat proyek, GitLab, dan SVN.
  • Ia melakukan pencarian vektor pada manual dan tiket lama.
  • Ia dapat menghasilkan file seperti .xlsx atau .docx.
  • Ia memilih alatnya sendiri dan menjalankannya secara paralel.

Arsitekturnya sederhana. Ia berjalan di dalam kontainer Node yang terpisah dari aplikasi utama. Saya melakukan ini untuk isolasi kegagalan. Jika AI gagal, helpdesk tetap berjalan.

Pelajaran terbesar adalah tentang prompt. Saya memulainya dengan satu dinding teks raksasa. Isinya 40.000 token. Sulit untuk dikelola dan agen tersebut kehilangan fokus.

Saya mengubah pendekatan saya. Saya membagi prompt menjadi file-file skill kecil.

  • Pencarian tiket adalah satu file.
  • Riwayat kode adalah file lainnya.
  • Manajemen proyek adalah yang ketiga.

Prompt utama bertindak sebagai router. Ia hanya memuat skill saat dibutuhkan. Ini menurunkan penggunaan token kami dari 40.000 menjadi 8.000 per permintaan. Agen tetap fokus pada tugasnya dan kodenya mudah diperbarui.

Saya juga menambahkan profil pengguna. Pengembang mendapatkan jalur kode. Manajer proyek mendapatkan ringkasan status. Agen tersebut tahu siapa yang bertanya tanpa perlu diberitahu.

Ini tidak sempurna. Kami menghadapi kegagalan nyata:

  • Halusinasi: Agen mengarang URL palsu. Solusi: Tetapkan pola yang tepat atau paksa pencarian (lookup).
  • Kehilangan memori: Agen melupakan aturan dalam percakapan panjang. Solusi: Masukkan daftar tugas (to-do list) terstruktur ke dalam setiap giliran percakapan.
  • Loop tak terbatas: Agen melakukan terlalu banyak panggilan alat (tool calls). Solusi: Tetapkan anggaran (budget) yang ketat per permintaan.
  • Keamanan: Pengguna mencoba menipunya. Solusi: Jangan mengandalkan prompt untuk keamanan. Gunakan kredensial database read-only pada infrastruktur Anda.

Pekerjaan yang sebenarnya adalah siklus mingguan. Saya membaca log. Saya memberi skor pada sesi. Saya menyempurnakan skill. Saya memperbarui profil.

Jika Anda melewatkan siklus ini, Anda hanya memiliki demo. Jika Anda melakukannya, Anda memiliki produk.

Tujuannya bukan sekadar jawaban yang lebih cepat. Tujuannya adalah menjaga pengetahuan institusional tetap ada di dalam perusahaan. Ketika seseorang pergi, pengetahuan mereka tetap ada dalam transkrip.

Ringkasan untuk pengembangan Anda:

  • Mulailah dengan RAG pada riwayat Anda sendiri.
  • Gunakan file skill yang dimuat secara lazy-loading alih-alih satu prompt besar.
  • Gunakan profil pengguna untuk konteks yang dipersonalisasi.
  • Isolasi AI dalam kontainernya sendiri.
  • Terapkan keamanan melalui infrastruktur, bukan instruksi.
  • Baca log Anda setiap minggu.

Sumber: https://dev.to/nunc/i-put-an-ai-agent-in-front-of-20-years-of-support-tickets-heres-what-actually-broke-5gdd

Komunitas belajar opsional: https://t.me/GyaanSetuAi