𝗣𝗿𝗼𝗺𝗽𝘁𝗹𝗮𝗿 𝗬𝗲𝘁𝗲𝗿𝗹𝗶 𝗗𝗲ğ𝗶𝗹: 𝗟𝗟𝗠 Çı𝗸𝘁ı𝗹𝗮𝗿ı𝗻ᴅ𝗮 𝗞𝗮𝘁ı 𝗞ı𝘀ı𝘁𝗹𝗮𝗺𝗮𝗹𝗮𝗿ı 𝗨𝘆𝗴𝘂𝗹𝗮𝗺𝗮𝗸
LLM demoları, katı gereksinimlerle karşılaşana kadar harika görünür.
Modeller olasılık üzerine çalışır. Üretim sistemleri ise garantilere ihtiyaç duyar.
Bunu, Arjantin'deki Radio del Volga için bir yapay zeka haber hattı oluştururken öğrendim. Sistem, haberleri yeniden yazıyor ve sosyal medya gönderileri oluşturuyor. Bir sorun ortaya çıkana kadar her şey yolunda gidiyordu: Gemini sürekli yanlış İspanyolca ile yazıyordu.
Arjantin'de insanlar belirli kelimeler kullanır. "puedes" yerine "podés", "eres" yerine "sos" derler. Eğer model nötr İspanyolca kullanırsa, metin yerel okuyuculara yanlış gelir.
Önce daha iyi prompt yazmayı denedim. Modele şunları söyledim:
- Rioplatense İspanyolcası kullan.
- Asla nötr İspanyolca kullanma.
- Belirli yasaklı kelimeler listesini kullan.
- Göndermeden önce cevabını tekrar oku.
Bu yardımcı oldu ama her şeyi çözmedi. Resmi haber kaynakları, modeli tekrar nötr İspanyolcaya itiyordu. Prompt'a ne kadar çok şey yazarsam yazayım, hatalar devam etti.
Bunu bir prompt sorunu olarak görmeyi bıraktım. Bir doğrulama (validation) sorunu olarak görmeye başladım.
Ton veya üslup gibi bazı şeyler olasılıksaldır. Diğer şeyler ise deterministiktir. Eğer bir metin "puedes" içeriyorsa, o metin yanlıştır. Bunu anlamak için bir yapay zekaya ihtiyacınız yok. Basit bir koda ihtiyacınız var.
Bir son işleme (post-processing) adımı ekledim. Yapay zeka işini bitirdikten sonra çalışır. Belirli kelimeleri arar ve onları değiştirir:
- puedes, podés olur
- tienes, tenés olur
- eres, sos olur
Bu liste küçük ve güvenli. Tüm İspanyolcayı düzeltmeye çalışmıyorum. Sadece kodun kesinlikle doğrulayabileceği kuralları düzeltiyorum.
Ders İspanyolca ile ilgili değil. Prompt mühendisliğinin sınırlarıyla ilgili.
Prompt yazmak performansı artırır ancak garanti sağlamaz. Eğer bir kural sabit ve test edilebilir ise, onu uygulamak için kod kullanın.
Akıcı metinler oluşturmak için LLM'leri kullanın. Marka terimlerini, yasal ifadeleri ve biçimlendirme kurallarını uygulamak için deterministik kod kullanın.
Güvenilir sistemler sorumlulukları böler: • Model içeriği oluşturur. • Kod katı kuralları uygular. • İnsanlar son editoryal kararı verir.
Source: https://dev.to/zendev2112/prompts-arent-enough-enforcing-hard-constraints-on-llm-output-2hpo
İsteğe bağlı öğrenme topluluğu: https://t.me/GyaanSetuAi