Help Desk AI: Cara Berhenti Membuang Uang untuk Pertanyaan AI yang Berulang

Pengguna menanyakan pertanyaan yang sama berulang kali ke aplikasi AI. Menanyakan ke AI setiap saat itu lambat. Hal ini juga memakan biaya.

Anda dapat mengatasi ini dengan sistem yang mengingat jawaban. Anggap saja ini sebagai sebuah help desk.

Berikut adalah cara kerja help desk tersebut:

  • Sang Ahli (LLM) Ini adalah model AI seperti GPT atau Claude. Ia cerdas tetapi lambat dan mahal. Tujuannya adalah hanya merepotkan sang ahli untuk pertanyaan-pertanyaan baru.

  • Buku Catatan (Cache) Help desk menuliskan jawaban di sini. Membaca buku catatan ini bersifat instan dan gratis. • Buku catatan kata-demi-kata (Exact Cache): Menemukan jawaban yang cocok secara sempurna. • Buku catatan makna-yang-sama (Semantic Cache): Menemukan jawaban meskipun pilihan katanya berubah.

  • Pembaca Makna (Embedding Model) Alat ini mengubah pertanyaan menjadi "sidik jari makna." Jika dua pertanyaan memiliki sidik jari yang serupa, berarti keduanya memiliki makna yang sama.

  • Daftar Isi (Vector Store) Indeks cerdas yang membantu help desk menemukan halaman yang tepat secara instan. Tanpa ini, mencari di antara jutaan jawaban akan menjadi terlalu lambat.

  • Petugas Depan (Router) Orang ini menerima pertanyaan terlebih dahulu. Mereka memeriksa buku catatan sebelum memutuskan untuk membangunkan sang ahli.

  • Label (Scope/Tenant Tags) Setiap jawaban mendapatkan label. "Anyone" berarti jawabannya bersifat publik. "Private" berarti hanya satu pengguna tertentu yang dapat melihatnya. Ini menjaga keamanan data pribadi.

Bagaimana sebuah pertanyaan mengalir melalui help desk:

  1. Sebuah pertanyaan tiba.
  2. Petugas memeriksa buku catatan kata-demi-kata yang cepat.
  3. Jika tidak ada kecocokan, petugas memeriksa buku catatan makna-yang-sama menggunakan sidik jari.
  4. Jika masih tidak ada kecocokan, sang ahli (LLM) dipanggil untuk menulis jawaban baru.
  5. Help desk menyimpan jawaban tersebut di buku catatan untuk penggunaan berikutnya.

Hasilnya: Jika aplikasi Anda menangani 100.000 pertanyaan dan cache menangkap setengahnya:

  • Anda menghemat 50% dari tagihan AI Anda.
  • Waktu tunggu turun dari hitungan detik menjadi milidetik.
  • Biaya Anda tumbuh jauh lebih lambat dibandingkan jumlah pengguna Anda.

Sumber: https://dev.to/abhiram_paidi/the-ai-help-desk-how-to-stop-your-ai-app-from-re-answering-the-same-question-4650

Komunitas belajar opsional: https://t.me/GyaanSetuAi