Debugowanie strumieniowania AI

Spędziłem trzy tygodnie na budowaniu interfejsu czatu AI. Chciałem płynnego strumienia słów. Zamiast tego otrzymałem zerwane połączenia i urwane zdania.

Moja aplikacja korzystała z FastAPI i Reacta. Krótkie odpowiedzi działały poprawnie. Długie odpowiedzi ucinały się w połowie słowa. Serwer przestawał przesyłać dane.

Próbowałem to naprawić. Zwiększyłem timeout. To nie zadziałało. Dodałem pętlę ponowień. To spowodowało powtarzanie się słów.

Problemem był parser. API AI wysyła linie danych. Mój kod zamykał połączenie zbyt wcześnie. Nie czekał na sygnał zakończenia.

Oto rozwiązanie:

  • Użyj aiter_bytes zamiast aiter_lines.
  • Zarządzaj buforem linii ręcznie.
  • Szukaj sygnału [DONE], aby zatrzymać proces.

Wtedy mój interfejs użytkownika zamarzł. Serwer wysyłał 50 chunków na sekundę. React nie nadążał. Dodałem niewielkie opóźnienie po stronie serwera, aby ograniczyć przepustowość danych.

Lekcje dla Ciebie:

  • Najpierw przeczytaj specyfikację strumieniowania.
  • Nie zakładaj, że pusta linia oznacza koniec.
  • Użyj biblioteki do parsowania SSE.
  • Monitoruj liczbę chunków i opóźnienia.

Strumienie są nieprzewidywalne. Mają swoje specyficzne cechy. Nigdy nie ufaj, że strumień zakończy się w sposób uporządkowany.

Jaki jest Twój najdziwniejszy błąd związany ze strumieniowaniem?

Źródło: https://dev.to/__c1b9e06dc90a7e0a676b/debugging-ai-streaming-a-tale-of-chunks-and-timeouts-1p6m Opcjonalna społeczność edukacyjna: https://t.me/GyaanSetuAi