Alfabeyi şarkı olarak söylemek, bir yapay zeka sesinin yapabileceği en kolay şey olmalı. A-B-C-D-E-F-G. Gezegendeki her çocuk için tanıdık olan yedi ayrı ses. Yine de yapay zeka ile müzik üretimiyle uğraşan herkes gerçekliğin çok daha karmaşık olduğunu bilir. Bir modele alfabeyi söylemesini söylerseniz, L, M, N, O ve P harfleri genellikle tek bir bulanık heceye dönüşür. "Elemmennopee" bir harf değildir. Bu bir semptomdur.

Bu, LMNOP problemidir ve tekerlemelerin çok ötesine geçer. Haftanın günleri, numaralandırılmış talimatlar ve her türlü sıralı liste aynı zayıflığı ortaya koyar. Bir geliştirici, bir yapay zeka iş akışı (pipeline) aracılığıyla sekiz şarkı oluşturarak ve çıktıyı bir otomatik konuşma tanıma aracı olan mlx-whisper ile ölçerek bunu yakın zamanda test etti. Öznel dinlemeye güvenmek yerine, transkripsiyon yazılımının yapay zekanın tam olarak ne söylediğini rapor etmesine izin verdiler. Sonuçlar çarpıcıydı. Numaralandırma, sentetik şarkıcıları normal dilin yapmadığı şekillerde tökezletiyor.

Liste Yapıları Yapay Zeka Seslerini Neden Bozar

Konuşma dili bağlam taşır. Eğer birisi "Köpeği parka götürüyorum" diye mırıldanırsa ve siz "köpek" kelimesini kaçırırsanız, cümle yine de anlamlı kalır. Çevreleyen kelimeler boşlukları doldurur. Listeler ise bu güvenlik ağını sunmaz. Her öğe tek başına durur. Eğer model "B" ve "D" arasındaki farkı birbirine karıştırırsa, dinleyici kısmi bir anlam elde etmez; sadece gürültü duyar.

Alfabe şarkısında, LMNOP kümesi en belirgin hata noktasıdır. Ses modeli, bu diziyi beş ayrı harf yerine tek bir fonetik yığın olarak ele alır. Her sesi sabitleyecek bağlamsal ipuçları olmadığında, sentezleyici ünsüzler arasındaki geçişleri tahmin etmeye çalışır. Genellikle de yanlış tahmin eder. Aynı durum haftanın günleri veya numaralandırılmış adımlar için de geçerlidir. Model dizinin içinden aceleyle geçer ve belirgin öğeleri belirsiz bir bulamaca dönüştürür.

Hasarı Ölçmek

Bunu nesnel bir şekilde incelemek için geliştirici sekiz şarkı oluşturdu ve şarkı sözü doğruluğunu puanlamak için bunları mlx-whisper üzerinden geçirdi. İş akışı basitti: bir istem (prompt) yaz, sesi oluştur, sonucu yazıya dök ve transkripsiyon metnini hedeflenen şarkı sözleriyle karşılaştır.

Standart anlatı şarkı sözleri için çıktı makul derecede sadıktı. Kelimeler olması gereken yere yerleşiyordu. Ancak istemler listeler, alfabeler veya numaralandırmalar içerdiğinde, mlx-whisper anlamsız ifadeler döndürdü. Harfler yok oldu veya birleşti. Sayılar tanınmaz hecelere dönüştü. Deney, liste ağırlıklı şarkı sözlerinin düz yazıya göre ölçülebilir şekilde daha kötü anlaşılırlığa sahip olduğunu doğruladı.

Yardımcı Olan İstem Mimarisi

Bozulmuş bir listeyi düzeltmek için işlem sonrası (post-processing) aşamasına güvenemezsiniz. Çözüm, ilk nota üretilmeden önce gerçekleşmelidir. Dikkatle yapılandırılmış bir ilk istem, modeli daha net bir diksiyona zorlayabilir. Bu ayarlamalar maliyet gerektirmez ancak modelin nefes alma ve duraklama biçimini değiştirir.

  • Uzun dizileri daha küçük gruplara bölün. A-B-C-D-E yerine, satırı A-B-C-D ve E-F-G şeklinde yapılandırın. Gruplar arasındaki bu küçük sıfırlama, modele harfleri birbirine karıştırmak yerine doğru ünsüzlere basma şansı verir.

  • Sayıları harflerle yazın. "30" yerine "otuz" kullanın. Yazılı rakamlar soyut sembollerdir; model bazen onları kesik, sessiz bir gürültüye dönüştürür. Tam bir kelime, fonetik bir derinlik sağlar.

  • Harflerin etrafına görsel boşluklar ekleyin. "ABC" yerine tire veya boşluk kullanarak "A - B - C" şeklinde yazın. Görsel ayrım, modele bunların tek bir kısaltma veya kelime değil, bağımsız öğeler olduğunu sinyal verir.

  • Hece sayısını sabitleyin. Her satırı altı ile on hece arasında tutun. Aşırı değişkenlik, modelin kısa satırlarda acele etmesine, uzun satırlarda ise yayılmasına neden olur. Listeler zaten hassasiyet gerektirir; düzensiz ritim, doğru icrayı neredeyse imkansız hale getirir.

  • Listelerden "ve" kelimesini çıkarın. Doğal konuşmada "ve" bir bağlaç görevi görür. Şarkı olarak söylenen bir listede ise, genellikle bir önceki öğenin sert kenarını yutan yumuşak bir hece ekler. "Pazartesi, Salı, Çarşamba" ifadesi, "Pazartesi, Salı ve Çarşamba" ifadesinden daha net bir kesinti sağlar.

Yeniden Oluşturma Tuzağı

İşte insan sezgisinin ters teptiği nokta burasıdır. Sıradan şarkı sözlerinde, yinelemeli istemleme (iterative prompting) genellikle sonuçları iyileştirir. Yanlış bir ifade duyarsınız, kelimeleri değiştirirsiniz ve tekrar oluşturursunuz. Bir sonraki versiyon daha iyi duyulur. Test, bu yaklaşımın numaralandırma içermeyen şarkılar için işe yaradığını gösterdi. Ancak listeler içeren şarkılar için istemi yeniden yazmak, çıktının anlaşılmasını daha da zorlaştırdı.

Veriler netti. Liste içermeyen şarkılar istem düzeltmelerinden sonra iyileşti. Numaralandırma içeren şarkılar ise kötüleşti.

Suçlu, akustik tohumdur. Sözden şarkıya (lyrics-to-song) modellerinde, istemi (prompt) değiştirmek mevcut sesi sadece düzenlemekle kalmaz; tüm üretken temeli yeniden karıştırır. Model, performansı sıfırdan yeniden inşa eder. Anlatı metinleri için yeni zar atışı daha net bir kayıtla sonuçlanabilir. Listeler için ise genellikle daha kötü bir telaffuz bozukluğuna davetiye çıkarırsınız. Bir harfin zamanlamasını düzeltebilirsiniz, ancak bir sonraki denemede modelin "J", "K" ve "L" harflerini yuttuğunu izlemek zorunda kalabilirsiniz. Orijinal kayıt kusurluydu, ancak revizyon genellikle bir fonetik karmaşayı diğeriyle takas ediyordu.

Liste Ağırlıklı Sözler İçin Daha Akıllı Bir İş Akışı

Yeniden oluşturma işlemi netliği bozma riski taşıdığı için sürecinizi değiştirmeniz gerekir. Kusursuz yeniden yazımın peşinden koşmayı bırakın. Bunun yerine, ilk istemi bir oyuncu seçmesi (casting call) gibi değerlendirin.

Farklı rastgele tohumlar (random seeds) kullanarak tam olarak aynı istemden birden fazla versiyon oluşturun. Metne dokunmayın. Sözleri sabit tutun ve modelin performansını çeşitlendirmesine izin verin. Bir düzenleme seansı değil, bir seçme (audition) yapıyorsunuz.

Ardından her adayı puanlayın. Her versiyonu mlx-whisper veya benzeri bir transkripsiyon aracından geçirin ve hangi kaydın isteminizle en sadık şekilde eşleştiğini ölçün. Enstrümantasyon veya vokal tonu biraz daha az kusursuz olsa bile, kazananı söz doğruluğuna göre seçin. Liste ağırlıklı içeriklerde, anlaşılırlık vibe'dan daha önemlidir.

En önemlisi, düzeltmelerinizi en başta yapın. Oluştur (generate) düğmesine basmadan önce boşluk kurallarını, hece sınırlarını ve gruplandırmayı uygulayın. Alfabe şarkısını düz İngilizce olarak yazıp daha sonra yamamaya çalışmayın. Listeler söz konusu olduğunda, model geriye dönük düzenlemeler konusunda daha az bağışlayıcıdır. A