Een voice-AI-team heeft aangekondigd dat de end-to-end responslatentie bij echte telefoongesprekken is teruggebracht tot onder de 1,8 seconden — een daling van 55 % ten opzichte van het eerste prototype. Overlappende verwerkingsstromen, een neurale voice-activity detector, streaming text-to-speech-synthese en speculatieve intent pre-fetching zorgden voor deze verbetering en verhoogden de conversieratio's voor afspraken met ongeveer 30 %.

Waarom latentie belangrijk is voor voice assistants

Lange pauzes zorgen ervoor dat beller zich afvragen of het systeem nog wel luistert. In vroege tests wachtte het prototype 2,9 seconden voordat het reageerde. Bellers herhaalden zichzelf of hingen op, een duidelijk teken dat de vertraging de gespreksstroom onderbrak. Voor elke realtime dienst — klantenservice, boekingen, informatie-opzoekingen — tast elke seconde stilte het vertrouwen aan en verlaagt het de conversie.

De technische aanpassingen die een seconde bespaarden

Het team stapte af van de strikt sequentiële pipeline en liet elke fase parallel draaien, waarbij de volgende fase direct wordt gevoed zodra er voldoende gegevens beschikbaar zijn.

  • Neurale voice-activity detection (VAD). Een klein neuraal model houdt de audiostroom in de gaten en voorspelt wanneer de spreker een zin afsluit, waardoor het detectievenster wordt verkort van ongeveer 800 ms naar 280 ms.
  • Streaming text-to-speech (TTS). In plaats van te wachten op het volledige tekstuele antwoord, streamt het systeem de eerste zin onmiddellijk naar de synthesizer, zodat de audio begint terwijl de rest van het antwoord nog wordt gegenereerd.
  • Speculatieve intent pre-fetching. Terwijl de gebruiker nog aan het woord is, voorspelt het model de waarschijnlijke intentie en stelt het alvast een query aan de backend. Als de gok juist is, staat het antwoord klaar op het moment dat de uiting eindigt; als de gok fout is, komt het fallback-antwoord nog steeds snel binnen.

Wat de cijfers laten zien en waar je op moet letten

Dankzij het overlappende ontwerp daalde de totale responstijd tot onder de 1,8 seconden en stegen de conversieratio's voor afspraken met 30 %.

De aanpak voegt complexiteit toe: parallelle stromen en speculatieve queries verbruiken meer rekenkracht en vereisen zorgvuldige foutafhandeling wanneer voorspellingen niet uitkomen. Teams die dezelfde route overwegen, moeten de hardwarekosten afwegen tegen de verwachte stijging in gebruikersbetrokkenheid.