AI SaaS'ın Arkasındaki Gizli Mimari
Bir AI SaaS platformu inşa etmek bana bir şey öğretti.
Zor olan kısım bir LLM çağırmak değil. Zor olan kısım, yapay zekayı gerçek bir iş dünyasında çalıştırmaktır.
İlk başta her şey basit görünür. Şöyle düşünürsünüz:
- API anahtarları sadece gizli bilgilerdir.
- SSO sadece bir bağlantıdır.
- Faturalandırma sadece Stripe'tır.
- Dağıtım (Deployment) sadece Docker'dır.
- Yapay zeka sadece bir OpenAI çağrısıdır.
Sonra platform gerçeklik kazanır. Her basit konu karmaşık bir sisteme dönüşür.
API Anahtarları Bir API anahtarı sadece bir karakter dizisi değildir. Kurumsal SaaS'ta bir anahtar şunları yönetmelidir:
- Kapsamlar (Scopes) ve son kullanma tarihleri.
- İptal etme ve denetim günlükleri (audit logs).
- Kiracı (tenant) sınırları ve hız limitleri (rate limits).
- Plan tabanlı erişim.
Bir anahtar; kime ait olduğunu, hangi kiracıya bağlı olduğunu ve neleri erişebileceğini yanıtlamalıdır.
SSO ve Kimlik Bir sağlayıcıyı bağlamak kolaydır. Zor olan kısım neye güveneceğinize karar vermektir.
- E-posta alan adına mı yoksa gruplara mı güveniyorsunuz?
- Bir kiracı yöneticisi (tenant admin), bir platform yöneticisi oluşturabilir mi?
- Bir kullanıcı birden fazla kiracıya aitse ne olur?
Gerçek bir SSO; yayıncı doğrulaması (issuer validation), rol eşleme (role mapping) ve oturum izolasyonu gerektirir.
Yapay Zekayı İşletmek Bir modeli çağırmak kolaydır. Yapay zekayı işletmek zordur. Şunları takip etmeniz gerekir:
- Token tüketimi ve maliyet.
- Sağlayıcı kullanımı ve gecikme (latency).
- Yeniden denemeler (retries), zaman aşımları (timeouts) ve yedekleme mekanizmaları (fallbacks).
- Prompt yönetişimi ve veri sınırları.
Bir demo sadece bir yanıta ihtiyaç duyar. Bir iş platformu ise hangi kiracının hangi modeli kullandığını ve bunun tam olarak ne kadara mal olduğunu bilmek zorundadır.
Faturalandırma ve Yönetişim Stripe ödemeleri işler ancak ürününüzü tanımlamaz. Ciddi bir SaaS, faturalandırmayı şunlara bağlar:
- Kotalar ve özellik kısıtlamaları (feature gates).
- Kiracı limitleri ve abonelik durumu.
- On-prem veya müşteri bulutu gibi dağıtım modları.
Faturalandırma, ticari bir yönetişime dönüşür. Müşterinin neleri kullanmaya izni olduğunu kontrol eder.
Yürütme ve Ölçeklendirme Kubernetes sizi ölçeklenebilir yapmaz. İş yüklerini şunları ayırarak yönetmelisiniz:
- Kuyruklar ve işleyiciler (workers).
- Kaynak limitleri ve otomatik ölçeklendirme (autoscaling).
- Ağ politikaları ve gözlemlenebilirlik (observability).
Hangi işleyicinin hata verdiğini ve hangi kiracının en fazla yük oluşturduğunu bilmeniz gerekir.
Gözlemlenebilirlik İzleme (Monitoring) bir bonus değildir. Ürünün bir parçasıdır.
- Mühendislerin neyin bozuk olduğunu bilmesi gerekir.
- Liderlerin değerin nerede yaratıldığını ve maliyetlerin nerede yükseldiğini bilmesi gerekir.
En büyük ders: bu sistemler birbirine bağlıdır. Eğer yapay zekada ölçümleme (metering) eksikse, maliyetli hale gelir. Eğer SSO'da izolasyon eksikse, tehlikeli hale gelir. Eğer faturalandırmada yaptırım (enforcement) eksikse, sadece kozmetik kalır.
AI SaaS inşa etmenin en zor kısmı prompt yazmak değildir. Kimlik, veri, maliyet ve altyapının birlikte hareket etmesini sağlamaktır.
İsteğe bağlı öğrenme topluluğu: https://t.me/GyaanSetuAi