OpenAI heeft GPT-Live ontwikkeld, een voice-first chatbot die tegelijkertijd luistert en spreekt, waardoor de onhandige "eerst praten, dan luisteren"-pauzes die de meeste assistenten gebruiken, worden overgeslagen. De dienst streeft naar een gesprek dat vloeit als een menselijke dialoog in plaats van stop-en-go-uitwisselingen.
Waarom het oude model niet meer werkte
Typische stemassistenten werken als walkie-talkies: je maakt een zin af, het apparaat neemt op, stuurt de audio naar de cloud, wacht op een reactie en speelt deze vervolgens af. Die heen-en-weer-reis zorgt voor een merkbare vertraging en dwingt gebruikers om te pauzeren voordat ze kunnen worden onderbroken. Voor een generatie die is opgegroeid met instant messaging, voelt die vertraging archaïsch aan.
OpenAI reageerde met een turn-less architectuur. Elke seconde beslist GPT-Live of het moet blijven luisteren, moet blijven spreken of moet pauzeren, waardoor je de assistent midden in een antwoord kunt onderbreken of een vervolgvraag kunt stellen zonder te wachten op een volledige reactiecyclus.
De full-duplex stack in begrijpelijke taal
- Gescheiden audio-loop en reasoning path – Een fast path handelt de continue audio-uitwisseling af, terwijl een slow path zwaardere taken uitvoert zoals webzoekopdrachten of tool calls. De fast path houdt het gesprek gaande terwijl de slow path werkt, waardoor het gevreesde "stilte terwijl ik nadenk"-moment wordt geëlimineerd.
- WARP-protocol – Traditionele webverbindingen vereisen meerdere handshakes voordat audio kan stromen, vaak zes heen-en-weer-reizen. Het aangepaste protocol van OpenAI brengt deze stappen terug tot één enkele reis, waardoor het starten van een sessie bijna onmiddellijk aanvoelt.
- Go in plaats van Python voor consistente latentie – Het team heeft real-time componenten verplaatst van Python, dat gewaardeerd wordt om snelle ontwikkeling, naar Go, dat voorspelbaardere executietijden levert. Bij voice AI is de vertraging in het slechtste geval belangrijker dan de gemiddelde snelheid; één hapering verbreekt de immersie, dus consistente latentie is de winnaar.
- Opschalen voorbij de GPU – Met honderden miljoenen gebruikers verschoof de bottleneck van de rekenkernen van het model naar de omliggende infrastructuur. OpenAI ontdekte dat CPU's en netwerkverbindingen verzadigd raakten voordat de GPU's dat deden, dus voegden ze slimme routing en connection-management toe om de GPU's van data te blijven voorzien zonder de rest van de stack te overbelasten.
Wat dit betekent voor ontwikkelaars
- Ontkoppel audioverwerking van de business logic – Houd een lichtgewicht, altijd actieve loop aan die microfooninput en luidsprekeroutput verwerkt. Verplaats alles wat kan wachten — database-queries, externe API-aanroepen — naar een aparte thread of service.
- Geef prioriteit aan latentiestabiliteit – Meet de responstijd en focus daarbij op de vertragingen in het slechtste geval in plaats van alleen op het gemiddelde. Programmeertalen en runtimes die meer controle bieden over scheduling (bijv. Go, Rust) kunnen de extra engineeringinspanning waard zijn.
- Minimaliseer connection overhead – Elke extra handshake voegt milliseconden toe die zich opstapelen. Bundel authenticatie, stream-onderhandeling en codec-selectie in één enkele uitwisseling, en gebruikers zullen het verschil merken.
Afwegingen en open vragen
Het full-duplex ontwerp voegt complexiteit toe.