Kurumsal Yapay Zeka projelerinin bir örüntüsü vardır. Bir ekip bir prototip geliştirir. Demo etkileyici görünür. Sonra, üç ay sonra, sistem çökmeye başlar. Yanıtlar sapar. Maliyetler artar. Bir uyum görevlisi belirli bir yanıtın nereden geldiğini sorar ve odadaki hiç kimse buna cevap veremez.
Bu çöküş nadiren kötü kodla başlar. Bir popülerlik yarışması gibi görülen tek bir mimari seçimle başlar: Retrieval-Augmented Generation (RAG) ile ince ayar (fine-tuning) karşılaştırması.
RAG ve ince ayar aynı ürünün iki versiyonu değildir. Bunlar temelden farklı araçlardır. Biri modelin neyi görebileceğini kontrol eder. Diğeri ise modelin nasıl davranacağını kontrol eder. İş için yanlış olanı seçmek bir prototipte kendini göstermez. Daha sonra, iş bunun üzerine kurulduğunda kendini gösterir.
Demo Tuzağı
Üretken yapay zeka özelliğini piyasaya sürme baskısı yoğundur. Ekipler genellikle bir yöntemi, iyi yazılmış bir eğitimde gördükleri için veya bir tedarikçinin sunum dosyası onu kolay gösterdiği için seçerler. Bu, altyapı kararları vermek için berbat bir yoldur.
İnce ayar yapılmış bir model, kontrollü bir demoda büyüleyici görünebilir. Şirketinizin diliyle konuşur ve ürün isimlerinizi tanır. Bir RAG hattı da büyüleyici görünebilir. Hiç eğitilmediği bir belge hakkındaki soruları yanıtlar. Ancak demo, operasyonel gerçekliği gizler. Eğer fiyatlandırma verileriniz haftalık olarak değişiyorsa ve siz geçen çeyreğin rakamlarıyla ince ayar yaptıysanız, model güvenle güncelliğini yitirmiş rakamlar verecektir. Eğer destek ekibinizin her yanıtın belirli bir politika PDF'ine dayanmasını sağlaması gerekiyorsa, ince ayar yapılmış bir model size dipnot sunmaz. Sadece metin verir.
RAG Aslında Ne Anlama Gelir?
RAG, Retrieval-Augmented Generation ifadesinin kısaltmasıdır ancak isim, onu olduğundan daha karmaşık gösterir. Özünde RAG tek bir soruyu yanıtlar: Modelin şu anda neyi araması gerekiyor?
Bir destek talebine yanıt vermeden önce şirket wikisinde arama yapmasına izin verilen bir müşteri hizmetleri temsilcisini hayal edin. RAG tam olarak bunu yapar, ancak otomatik olarak. Bir kullanıcı soru sorduğunda, sistem ilgili metin parçalarını bulmak için bir vektör veritabanında veya belge deposunda arama yapar. Ardından bu parçaları, orijinal soruyla birlikte bağlam (context) olarak dil modeline iletir. Model, getirilen kanıtlara dayanarak bir yanıt oluşturur.
Bu yaklaşım, bilgi tabanınız modelin dışında olduğunda parlar. Ürün dokümantasyonu, yasal dosyalar, tıbbi araştırmalar ve envanter tablolarının hepsi değişir. RAG, tek bir ağırlığı bile yeniden eğitmeden modeli güncel tutar. Ayrıca doğal bir denetim izi oluşturur. Hangi belgelerin getirildiğini bildiğiniz için, bir denetçiye veya düzenleyici kuruma bir yanıtın tam olarak nereden geldiğini gösterebilirsiniz.
İnce Ayar (Fine-Tuning) Aslında Ne Anlama Gelir?
İnce ayar farklı bir soruyu yanıtlar: Model nasıl davranmalı?
Modele harici okuma materyalleri vermek yerine, ona örneklerle öğretirsiniz. İstediğiniz çıktıların yüzlerce veya binlerce örneğini toplarsınız ve temel modeli bu veriler üzerinde eğitmeye devam edersiniz. Bu süreç, aslında modelin iç parametrelerini ayarlar. Ağırlıkları değiştirir.
Sonuç, kalıpları içselleştirmiş bir modeldir.