𝗗𝗲𝗯𝘂𝗴𝗴𝗶𝗻𝗴 𝗔𝗜 𝗦𝘁𝗿𝗲𝗮𝗺𝗶𝗻𝗴: 𝗖𝗵𝘂𝗻𝗸𝘀 𝗮𝗻𝗱 𝗧𝗶𝗺𝗲𝗼𝘂𝘁𝘀

Saya membangun antarmuka chat AI. Saya ingin respons kata demi kata. Itu gagal. Respons terputus di tengah kata.

Saya menambah timeout. Itu tidak berhasil. Saya mencoba retry loops. Ini menyebabkan kata-kata duplikat. Saya mencoba buffering. Ini membuat aplikasi menjadi lambat.

Penyebabnya adalah kesalahan parsing. API mengirimkan baris-baris JSON-LD. Kode saya berhenti sebelum stream berakhir. Kode tersebut mengabaikan sinyal akhir.

Solusinya:

  • Gunakan byte, bukan baris.
  • Kelola buffer secara manual.
  • Cari sinyal [DONE].
  • Jaga koneksi tetap terbuka.

Kemudian frontend membeku. React memperbarui terlalu cepat. Saya melakukan throttling pada server untuk memperbaikinya.

Tips untuk Anda:

  • Baca spesifikasi streaming.
  • Temukan event akhir yang eksplisit.
  • Gunakan library SSE.
  • Pantau data Anda.

Jangan pernah percaya bahwa sebuah stream akan berakhir dengan mulus.

Apa bug streaming teraneh yang pernah Anda alami?

Sumber: https://dev.to/__c1b9e06dc90a7e0a676b/debugging-ai-streaming-a-tale-of-chunks-and-timeouts-1p6m