𝗖𝗵𝗮𝘁𝗚𝗣𝗧 𝟰 𝗱𝗮𝗹𝗮𝗺 𝗣𝗿𝗮𝗸𝘁𝗶𝗸

Saya membangun bot triase tiket untuk sebuah perusahaan SaaS menggunakan GPT-4. Ini mengajarkan saya bagaimana teknologi ini bekerja di dunia nyata.

Cara kerjanya: OpenAI membangun model-model ini dalam dua tahap. Pertama, mereka melakukan pre-training pada model menggunakan dataset teks yang masif. Ini mengajarkan tata bahasa dan fakta kepada model. Kedua, manusia melakukan fine-tuning pada model tersebut. Ini mengajarkannya untuk mengikuti instruksi dan tetap aman.

Konfigurasi saya:

  • Saya menggunakan endpoint Azure OpenAI.
  • Saya menggunakan FastAPI sebagai lapisan.
  • Saya menetapkan batas 2k token per permintaan.
  • Saya menggunakan Redis untuk menyimpan cache kueri yang berulang.

Hasilnya: Latensi tetap berada di sekitar 350ms untuk pesan kecil. Pesan besar menyebabkan lonjakan hingga 1,2 detik. Hal ini memaksa kami menggunakan pengklasifikasi kata kunci (keyword classifier) untuk beban berat. Biayanya tinggi. Kami menghabiskan $2.000 per bulan untuk satu saluran dukungan.

Risikonya: Model tersebut melakukan kesalahan. Ia kehilangan konteks dalam percakapan panjang. Ia dapat menyatakan fakta yang salah dengan tingkat kepercayaan diri yang tinggi. Ini disebut halusinasi.

Cara saya memperbaikinya: Saya menambahkan langkah validasi menggunakan Pinecone vector store.

  • Model menghasilkan jawaban.
  • Kami memeriksa jawaban tersebut terhadap basis pengetahuan yang telah dikurasi.
  • Jika skor kemiripannya di bawah 0,78, seorang manusia akan meninjaunya. Filter ini menangkap 42% pernyataan palsu. Ini menambah 120ms pada waktu respons.

Pemantauan sangatlah penting: Saya menggunakan Prometheus dan Grafana untuk melacak tingkat kesalahan dan penggunaan token. Saya mengatur peringatan PagerDuty untuk aktif jika halusinasi melebihi 5% dari trafik. Hal ini memungkinkan kami untuk memperbaiki template prompt yang buruk sebelum menyebabkan kerusakan lebih lanjut.

Intinya: GPT-4 bukanlah keajaiban. Ini adalah alat untuk membantu Anda bekerja lebih cepat. Gunakan untuk pengodean, meringkas, dan menulis. Jangan mempercayainya untuk fakta-fakta kritis tanpa memeriksanya sendiri.

Sumber: https://dev.to/lavkeshdwivedi/chatgpt-4-3hi6

Komunitas pembelajaran opsional: https://t.me/GyaanSetuAi