𝗞𝗜-𝗦𝘁𝗿𝗲𝗮𝗺𝗶𝗻𝗴-𝗗𝗲𝗯𝘂𝗴𝗴𝗶𝗻𝗴: 𝗖𝗵𝘂𝗻𝗸𝘀 𝘂𝗻𝗱 𝗧𝗶𝗺𝗲𝗼𝘂𝘁𝘀

Ich habe ein KI-Chat-Interface entwickelt. Ich wollte Antworten Wort für Wort erhalten. Es hat nicht funktioniert. Antworten wurden mitten im Wort abgeschnitten.

Ich habe das Timeout erhöht. Es hat nicht funktioniert. Ich habe es mit Retry-Loops versucht. Das führte zu doppelten Wörtern. Ich habe es mit Buffering versucht. Das hat die App verlangsamt.

Die Ursache war ein Parsing-Fehler. Die API sendet JSON-LD-Zeilen. Mein Code stoppte, bevor der Stream endete. Er hat das Endsignal ignoriert.

Die Lösung:

  • Bytes statt Zeilen verwenden.
  • Den Buffer manuell verwalten.
  • Nach dem [DONE]-Signal suchen.
  • Die Verbindung offen halten.

Dann fror das Frontend ein. React hat zu schnell aktualisiert. Ich habe den Server gedrosselt, um das zu beheben.

Tipps für dich:

  • Lies die Streaming-Spezifikation.
  • Finde das explizite End-Event.
  • Nutze SSE-Libraries.
  • Verfolge deine Daten.

Verlasse dich niemals darauf, dass ein Stream sauber endet.

Was ist dein seltsamster Streaming-Bug?

Quelle: https://dev.to/__c1b9e06dc90a7e0a676b/debugging-ai-streaming-a-tale-of-chunks-and-timeouts-1p6m