İnce ayar (fine-tuning), arama ile zenginleştirilmiş nesil (RAG) ve düz istemleme (prompting), büyük dil modellerinin (LLM'ler) karşılaştığı farklı problem sınıflarını çözer. Yanlış olanı seçmek GPU döngülerini boşa harcar, bulut faturalarını şişirir ve kullanıcıları yine de yanlış cevaplarla baş başa bırakır. Aşağıda, geliştiricilerin hangi aracın kendi kullanım durumlarına uygun olduğuna karar vermelerini ve ihtiyaç duyulduğunda bunları nasıl birleştireceklerini gösteren adım adım bir çerçeve yer almaktadır.
Üç kaldıraç
| Ne değişir | Nasıl çalışır | Tipik kullanım |
|---|---|---|
| RAG | Çıkarım (inference) sırasında modele harici gerçekleri bağlam olarak ekler | Fiyatları güncelleme, en güncel politika belgelerini çekme, özel verileri alıntı yapma |
| Fine-tuning | Stil, format veya tekrarlanabilir davranışı değiştirmek için modelin dahili ağırlıklarını ayarlar | Tutarlı ton, karmaşık çıktı yapıları, yüksek verimli sınıflandırma |
| Prompting | Net talimatlar ve örneklerle modelin anlık yanıtını şekillendirir | Genel muhakeme, hızlı prototipler, bir özelliği birkaç gün içinde yayına alma |
Herhangi bir projenin başında sorulması gereken temel soru şudur: Eksiklik bir bilgi açığı mı yoksa bir davranış açığı mı? Bilgi açığı, modelin doğru gerçeklere sahip olmadığı anlamına gelir; davranış açığı ise modelin gerçekleri bildiği ancak bunları ihtiyacınız olan şekilde ifade edemediği anlamına gelir.
Sorun bir bilgi açığı olduğunda – RAG'a başvurun
Eğer model halüsinasyon görüyorsa, güncelliğini yitirmiş sayılar döndürüyorsa veya bir kaynağa atıfta bulunamıyorsa, sorun eksik veya bayat bilgidir. RAG, çalışma zamanında doğru belgeyi veya veri noktasını isteme (prompt) dahil ederek bu sorunu çözer.
- Gerçekler sık değiştiğinde RAG kullanın; stok seviyeleri, piyasa fiyatları veya düzenleyici tabloları düşünün.
- Uyumluluk veya denetim amaçları için alıntı veya izlenebilirlik sağlamanız gerektiğinde kullanın.
- Genel bir modele ifşa edilemeyecek özel veri kümesi (corpora) için kullanın; arama katmanı verileri güvenlik duvarınızın arkasında tutar.
Bir belgeyi güncellemek kolaydır. Bir modeli yeniden eğitmek ise zordur.
Sorun bir davranış açığı olduğunda – ince ayar (fine-tune) yapın
Eğer model doğru gerçekleri zaten biliyor ancak bunları yanlış formatta, tonda veya tutarsız bir yapıda sunuyorsa, modelin dahili davranışını şekillendirmeniz gerekir. İnce ayar (fine-tuning), istenen stilin varsayılan hale gelmesi için modelin ağırlıklarını yeniden yazar.
- Markaya özgü ses tonu, hukuk dili veya katı bir şablonu takip etmesi gereken her türlü çıktı için idealdir.
- Çağrı başına düşen küçük istem maliyetlerinin biriktiği toplu sınıflandırma gibi yüksek hacimli, tekrarlayan görevler için iyi çalışır.
- İstemleri kısaltarak token kullanımını ve dolayısıyla çıkarım maliyetini azaltabilir.
Yaygın bir hata, bir modele sadece gerçekleri öğretmek için ince ayar yapmaktır. Bu, işlem gücünü boşa harcar ve modeli gelecekteki veri kaymalarına (data drift) karşı hala savunmasız bırakır. Gerçekler bir arama katmanına; ince ayar ise davranış katmanına aittir.
Sorun bir talimat açığı olduğunda – istemleme (prompting) ile başlayın
İstem mühendisliği (prompt engineering), modelin bir görevi çözüp çözemeyeceğini test etmenin en ucuz ve en hızlı yoludur. Net talimatlar, few-shot örnekleri ve zincirleme düşünme (chain-of-thought) istemlemesi, genellikle modelde herhangi bir değişiklik yapmadan aradaki boşluğu kapatır.
- Daha pahalı bir çözüme yatırım yapmadan önce "iyi" bir yanıtın nasıl göründüğünü keşfetmek için kullanın.
- Muhakeme ağırlıklı görevlere, beyin fırtınasına veya hızlı sonuç almanız gereken herhangi bir senaryoya uygulayın.
- İyi hazırlanmış bir istemle tatmin edici sonuçlar alabiliyorsanız; veri toplama, model eğitimi veya arama boru hatlarının (pipelines) getirdiği ek yükten kurtulursunuz.
Eğer net istemleme ve birkaç örnek yöntemini henüz tüketmediyseniz, ince ayar veya RAG altyapısına yatırım yapmaya hazır değilsiniz demektir.
Karar akışı
Kullanım durumunuzu aşağıdaki kontrol listesinden geçirin. İlk "evet" cevabında durun ve o tekniği uygulayın. Birden fazla koşul geçerliyse, çözümleri üst üste ekleyin.
- Açık talimatlar ve few-shot örnekleri ile istemleme yapmayı denediniz mi? Hayır → istemleme ile başlayın.
- Hata, eksik veya güncelliğini yitirmiş gerçeklerden mi kaynaklanıyor yoksa kaynak göstermeniz mi gerekiyor? Evet → bir RAG katmanı ekleyin.
- Hata, tutarsız stilden, formatlamadan veya yüksek verimli, tekrarlanabilir bir çıktı ihtiyacından mı kaynaklanıyor? Evet → modeli ince ayar (fine-tune) ile optimize edin.
Hem bilgi hem de davranış açığı mevcut olduğunda, RAG ve ince ayarı birleştirin: önce doğru gerçekleri çekin, ardından ince ayar yapılmış modelin bunları istenen stilde sunmasına izin verin.
Başarıyı ölçme
Asla sadece "hislerinize" güvenmeyin. Temel girdileri ve beklenen çıktıları kapsayan, küçük ve temsil gücü yüksek bir değerlendirme seti oluşturun. Aynı seti her bir aday çözümden geçirin: sadece prompt, prompt + RAG, prompt + fine-tune veya tam yığın (full stack). Doğruluğu, atıf kalitesini, token maliyetini ve gecikmeyi karşılaştırın. Veriler size hangi katmanın gerçek değer kattığını, hangisinin ise gereksiz bir yük olduğunu söyleyecektir.
Doğru kaldıracı erkenden seçmek zaman, para ve hayal kırıklığından tasarruf sağlar. Önce prompt ile başlayın; gerçekler darboğaz oluşturduğunda retrieval ekleyin; davranışlar darboğaz oluşturduğunda ise fine-tune yapın. Ölçün, yineleyin ve yanlış probleme GPU gücü harcama şeklindeki yaygın hatadan kaçının.