AI-latentie temmen met SSE
Ik heb een AI-autocompletefunctie gebouwd. Gebruikers haatten het.
Elke toetsaanslag stuurde een verzoek naar een AI-model. Gebruikers moesten 2 tot 3 seconden wachten op een volledig antwoord. De UI voelde kapot aan.
Ik heb debouncing geprobeerd. Ik heb caching geprobeerd. Ik heb loading spinners geprobeerd. Niets werkte. Het kernprobleem bleef bestaan. Gebruikers moesten wachten op het volledige antwoord voordat ze enige data te zien kregen.
Ik heb dit opgelost door Server-Sent Events (SSE) te gebruiken om reacties in chunks te streamen.
De oorspronkelijke trage flow:
- Gebruiker typt tekens
- 300ms debounce
- HTTP POST-verzoek
- Server roept AI API aan (1-2 seconden)
- Server geeft volledig antwoord terug
- Client rendert
De gebruiker zag 2 seconden lang niets.
Ik overwoog polling, maar dat zorgt voor te veel overhead. WebSockets werken wel, maar die zijn te zwaar voor een eenrichtingsstroom.
Ik koos voor SSE. Het is een standaard waarbij de server tekstgebeurtenissen stuurt over één langdurige verbinding.
Waarom SSE werkt voor AI:
- Het is eenrichtingsverkeer (server naar client)
- Het gebruikt tekstgebaseerde JSON-chunks
- Het handelt reconnecties automatisch af
- Je hebt geen extra bibliotheken nodig
De resultaten waren direct merkbaar. Het eerste woord verscheen in minder dan 300ms. Gebruikers zagen suggesties letter voor letter opbouwen.
Mijn statistieken verbeterden:
- Tijd tot het eerste visuele antwoord: van 2,1s naar 0,3s
- Gebruikersbetrokkenheid: 40% hoger
- Gebruikersklachten: nul
Streaming gaat over perceptie. Een trage maar progressieve UI is beter dan een snelle maar statische UI. Gebruikers geven er de voorkeur aan om een antwoord woord voor woord te zien verschijnen, in plaats van te wachten op een volledig tekstblok.
Als je AI-functie traag aanvoelt, probeer dan eerst streaming.
Optionele leercommunity: https://t.me/GyaanSetuAi