Bir LLM Ajanını Tarayıcınızda Çalıştırmak

Çoğu yapay zeka asistanı bir veri merkezinde bulunur. Bir API anahtarına, bir sunucuya ihtiyaç duyarlar ve istek başına ücretlendirilirler.

Ben farklı bir şey inşa ettim.

LiquidAI LFM2.5 modellerini (230M ve 350M) tamamen tarayıcınızda çalışacak şekilde (sunucu yok, bulut maliyeti yok) ince ayar (fine-tune) yaparak eğittim.

Hedef, bir web sayfasıyla birlikte gönderilebilecek kadar küçük bir model oluşturmaktı.

Model, belirli ürünler hakkında gerçekleri saklamaz; kalıpları öğrenir. Tek bir küçük model, yeniden eğitilmeye gerek kalmadan bir kahve dükkanını, bir bakkalı veya başka herhangi bir dükkanı yönetebilir.

Modelin neler yaptığı

  • Bir görev için doğru aracı seçer
  • Argümanları ve ürün kimliklerini (item IDs) doğru şekilde bağlar
  • “ikincisi” veya “bir düzine” gibi referansları anlar
  • Soruları yanıtlamak için getirilen metni kullanır
  • Bilgi eksik olduğunda yanıt vermeyi reddeder
  • Konu dışına çıkıldığında konuşmayı tekrar konuya yönlendirir

Nasıl inşa ettim

  • Sekiz araçlık bir seti (search, add_to_cart, checkout vb.) sabitledim
  • RAG'ı ayrı bir boru hattı (pipeline) yerine bir araç olarak ele aldım
  • Doğruluk için dil bilgisi kısıtlı kod çözme (grammar-constrained decoding) uyguladım
  • 18 etkileşim tarifinden sentetik bir veri seti oluşturdum
  • Tek bir 16 GB GPU kullanarak 30 milyon token üzerinde ince ayar yaptım

Eğitim odağı Modeli engelleme listeleri (blocklists) üzerine değil, davranışlar üzerine eğittim. Kelimeleri yasaklamak yerine, konuşmaları nazikçe yönlendirmeyi öğrettim.

Bu neden önemli

  • Gizlilik: verileriniz cihazınızdan asla ayrılmaz
  • Çevrimdışı kullanım: internet bağlantısı olmadan çalışır
  • Maliyet: sıfır çıkarım (inference) faturası
  • Erişilebilirlik: karmaşık kullanıcı arayüzlerini ses

Sırada ne var?

Kod tabanı (https://github.com/lajosbencz/frontend-agent) açıktır; topluluğu araçlar eklemeye, sentetik tarifleri genişletmeye veya hibrit yaklaşımlar denemeye davet etmektedir.

Özetle: Orta ölçekli bir LLM'i bağımsız bir ajana dönüştürmek için ince ayar yapmak, işlevsel ve gizliliği koruyan yapay zekayı doğrudan bir web sayfasına yerleştirmeyi mümkün kılar — sunucu yok, ücret yok ve kullanıcının cihazından dışarı çıkan veri yok.