调试 AI 流式传输：数据块与超时

我构建了一个 AI 对话界面。 我希望实现逐字响应。 但失败了。 响应在单词中间被截断了。

我增加了超时时间。 但没有效果。 我尝试了重试循环。 这导致了单词重复。 我尝试了缓冲。 这导致应用变慢。

原因是解析错误。 API 发送的是 JSON-LD 行。 我的代码在流结束前就停止了。 它忽略了结束信号。

解决方案：

  • 使用字节而非行。
  • 手动管理缓冲区。
  • 寻找 [DONE] 信号。
  • 保持连接开启。

接着前端卡住了。 React 更新得太快。 我通过对服务器进行节流来解决这个问题。

给你的建议：

  • 阅读流式传输规范。
  • 找到明确的结束事件。
  • 使用 SSE 库。
  • 追踪你的数据。

永远不要指望流会优雅地结束。

你遇到过最奇怪的流式传输 Bug 是什么？

来源：https://dev.to/__c1b9e06dc90a7e0a676b/debugging-ai-streaming-a-tale-of-chunks-and-timeouts-1p6m