Anthropic, Claude Code'a rehberlik eden sistem isteminin (system prompt) %80'ini temizledi ve kod yazma yeteneğinde herhangi bir düşüş olmadığını bildirdi. Deney, büyük dil modelleri (LLM'ler) daha yetenekli hale geldikçe, geliştiricilerin modelleri yolunda tutmak için kullandıkları hantal iskeletleri performansı bozmadan budayabileceğini gösteriyor.

İstem neden en başta önemliydi?

Claude Code piyasaya sürüldüğünde, sistem istemi düzinelerce kural içeriyordu. Mühendisler, her hata çıktığında yeni satırlar ekliyor ancak işe yarayan hiçbir şeyi nadiren kaldırıyordu. Zamanla istem, karmaşık ve statik bir belge haline geldi.

Model boşluğu kapanıyor

Bu fazladan kurallar bir "model boşluğunu" – yani modelin yapabildikleri ile uygulamanın gereksinimleri arasındaki farkı – gizliyordu. 2024 yılında geliştiriciler, modelin örneğin koda aşırı yorum eklemesini engellemek için katı kısıtlamalar belirtmek zorundaydı. Bugün aynı model, "mevcut kod stiline uy" gibi tek bir talimatla istenen stili çıkarabiliyor. Kurallar, yardımcı olmaktan çıkıp gürültüye dönüştü.

Bağlam mühendisliğinde (context engineering) neler değişiyor?

Anthropic'in bu budaması, geliştiricilerin istemleri yapılandırma biçimindeki daha geniş bir değişimi yansıtıyor:

  • Tek seferlik kritik talimatlar – bir kuralı bir kez belirtin ve modelin bunu akılda tutmasına izin verin.
  • Few-shot örnekleri yerine araç odaklı parametreler – araç şemasında (tool schema) girdi ve çıktı biçimlerini tanımlayın ve modelin bunları doldurmasına izin verin.
  • Kademeli açıklama (Progressive disclosure) – yalnızca mevcut adım için gereken bağlamı verin, gerekirse daha fazlasını daha sonra ekleyin.
  • Statik kılavuzları araç açıklamalarına taşıyın – "değişkenler için camelCase kullan" gibi şeyler sistem isteminde değil, aracın spesifikasyonunda yer almalıdır.
  • Sabitlenmiş (hardcoded) kuralları sezgisel yöntemlerle (heuristics) değiştirin – bir kuralın ne zaman uygulanacağına koşulsuz olarak zorlamak yerine, modelin karar vermesine izin verin.

Bu taktikler işe yarıyor çünkü model, eskiden açıkça pekiştirilmesi gereken birçok geleneği zaten biliyor.

Aşırı budama riski

En gelişmiş (frontier) modellerine fayda sağlayan aynı budama işlemi, daha küçük modelleri olumsuz etkileyebilir. Anthropic, Haiku gibi modellerin hala yolunda gitmek için daha zengin istemlere ihtiyaç duyduğunu belirtiyor. Daha az yetenekli bir modelden çok fazla rehberlik kaldırmak, orijinal istemin önlemeye çalıştığı hataları (tutarsız isimlendirme, aşırı yorumlar veya gözden kaçan uç durumlar) yeniden tetikleyebilir.

Kendi istemlerinizi nasıl denetlersiniz?

Eğer bir kod üretme pipeline'ı yönetiyorsanız, bir istem denetimi gereksiz yükleri ortaya çıkarabilir. Pratik bir kontrol listesi şöyledir:

  • Talimat yoğunluğunu yeniden ayarlayın – rehberlik miktarını gerçekten çalıştırdığınız modelle eşleştirin.
  • Tekrarlanan talimatları silin – bir kural hem sistem isteminde hem de araç açıklamasında görünüyorsa, onu yalnızca bir kez tutun.
  • Çalışan örnekleri daha zengin şemalara dönüştürün – somut örneklerin yerine numaralandırılmış parametre türlerini veya enum'ları kullanın.
  • Durumsal ayrıntıları dışsallaştırın – büyük referans bloklarını, modelin talep üzerine alabileceği ayrı dosyalara taşıyın.
  • Ortadan kalkmış davranışları kapsayan kuralları temizleyin – eğer model artık istenmeyen yorumlar eklemiyorsa, "yorum yapma" kuralını kaldırın.

Sezgilerinize güvenmeyin. Basit bir "3-Test Kuralı" kullanın: beş gerçekçi kodlama görevi çalıştırın, her silme işleminden önce ve sonra sonuçları karşılaştırın ve herhangi bir gerilemeyi (regression) not edin.

  1. Baseline – performansı tam istemle ölçün.
  2. Delete – aday bir satırı veya bloğu kaldırın.
  3. Re-run – aynı beş görevi yürütün.

Eğer çıktı değişirse, hala ağırlığı olan bir satır tespit etmişsiniz demektir. Değişmiyorsa, satır güvenle çıkarılabilir.

Geliştiriciler bundan sonra neyi takip etmeli?

Şimdilik çıkarılacak ders net: bir sistem istemi yaşayan bir belgedir. Her satırı bir kullanım ömrü varmış gibi değerlendirin, düzenli olarak denetleyin ve modelin artan yetkinliğinin ağır iş yükünü üstlenmesine izin verin.

Kaynak: dev.to/ialijr/your-system-prompt-has-a-shelf-life-maintaining-prompts-as-models-improve-cd9