Bir sesli yapay zeka ekibi, gerçek telefon görüşmelerindeki uçtan uca yanıt gecikmesini 1,8 saniyenin altına indirdiğini duyurdu; bu, ilk prototipe kıyasla %55'lik bir düşüş anlamına geliyor. Üst üste binen işleme akışları, sinirsel bir ses aktivitesi dedektörü, akışlı metinden sese sentezi ve spekülatif niyet ön yüklemesi bu kazanımı sağladı ve randevu dönüşüm oranlarını yaklaşık %30 artırdı.

Sesli asistanlar için gecikme neden önemlidir?

Uzun duraksamalar, arayan kişilerin sistemin hâlâ dinleyip dinlemediğini merak etmesine neden olur. İlk testlerde prototip, yanıt vermeden önce 2,9 saniye bekliyordu. Arayanlar kendilerini tekrar ediyor veya telefonu kapatıyordu; bu da gecikmenin konuşma akışını bozduğunun açık bir göstergesiydi. Müşteri desteği, rezervasyon veya bilgi sorgulama gibi herhangi bir gerçek zamanlı hizmet için her saniyelik sessizlik, güveni sarsar ve dönüşümü düşürür.

Bir saniyeyi kazandıran teknik iyileştirmeler

Ekip, tamamen sıralı olan işleme hattından vazgeçerek her aşamanın paralel olarak çalışmasını sağladı ve yeterli veriye ulaşır ulaşmaz bir sonraki aşamayı besledi.

  • Sinirsel ses aktivitesi algılama (VAD). Küçük bir sinirsel model, ses akışını izler ve konuşmacının cümleyi ne zaman bitireceğini tahmin ederek algılama penceresini yaklaşık 800 ms'den 280 ms'ye düşürür.
  • Akışlı metinden sese (TTS). Sistem, tam metin yanıtını beklemek yerine ilk ifadeyi hemen sentezleyiciye akış olarak gönderir; böylece yanıtın geri kalanı hâlâ oluşturulurken ses çalmaya başlar.
  • Spekülatif niyet ön yüklemesi. Kullanıcı hâlâ konuşurken model, muhtemel niyeti tahmin eder ve arka uçta (backend) önceden sorgu yapar. Tahmin doğruysa, yanıt ifade biter bitmez hazırdır; tahmin yanlışsa, yedek yanıt yine de hızlı bir şekilde gelir.

Rakamlar ne gösteriyor ve sırada ne var?

Üst üste binen tasarım sayesinde toplam yanıt süresi 1,8 saniyenin altına düştü ve randevu dönüşüm oranları %30 arttı.

Bu yaklaşım karmaşıklığı artırıyor: Paralel akışlar ve spekülatif sorgular daha fazla işlem gücü tüketir ve tahminler tutmadığında dikkatli bir hata yönetimi gerektirir. Aynı yolu izlemeyi düşünen ekipler, donanım maliyetini kullanıcı etkileşimindeki beklenen artışla dengelemelidir.