Arsitektur Tersembunyi di Balik AI SaaS
Membangun platform AI SaaS mengajarkan saya satu hal.
Bagian tersulit bukanlah memanggil LLM. Bagian tersulit adalah membuat AI bekerja dalam bisnis nyata.
Awalnya, semuanya tampak sederhana. Anda berpikir:
- API key hanyalah rahasia.
- SSO hanyalah sebuah koneksi.
- Billing hanyalah Stripe.
- Deployment hanyalah Docker.
- AI hanyalah sebuah panggilan OpenAI.
Kemudian platform tersebut menjadi nyata. Setiap topik sederhana berubah menjadi sistem yang kompleks.
API Keys API key bukan sekadar string. Dalam SaaS perusahaan, sebuah key harus menangani:
- Scope dan masa berlaku.
- Pencabutan (revocation) dan log audit.
- Batasan tenant dan limitasi laju (rate limits).
- Akses berbasis paket.
Sebuah key harus menjawab siapa pemiliknya, ke tenant mana ia berasal, dan apa saja yang dapat diaksesnya.
SSO dan Identity Menghubungkan penyedia (provider) itu mudah. Bagian tersulit adalah memutuskan apa yang dapat dipercaya.
- Apakah Anda mempercayai domain email atau grupnya?
- Bisakah admin tenant membuat admin platform?
- Apa yang terjadi jika seorang pengguna termasuk dalam beberapa tenant?
SSO yang sesungguhnya memerlukan validasi penerbit (issuer), pemetaan peran (role mapping), dan isolasi sesi.
Mengoperasikan AI Memanggil model itu mudah. Mengoperasikan AI itu sulit. Anda perlu melacak:
- Konsumsi token dan biaya.
- Penggunaan provider dan latensi.
- Percobaan ulang (retries), timeout, dan fallback.
- Tata kelola prompt dan batasan data.
Sebuah demo hanya butuh respons. Sebuah platform bisnis perlu tahu tenant mana yang menggunakan model apa dan berapa biaya tepatnya.
Billing dan Governance Stripe memproses pembayaran, tetapi ia tidak mendefinisikan produk Anda. SaaS yang serius menghubungkan billing ke:
- Kuota dan pembatasan fitur (feature gates).
- Batasan tenant dan status langganan.
- Mode deployment seperti on-prem atau cloud pelanggan.
Billing menjadi tata kelola komersial. Ia mengontrol apa yang diizinkan untuk digunakan oleh pelanggan.
Eksekusi dan Scaling Kubernetes tidak membuat Anda skalabel. Anda harus mengelola beban kerja dengan memisahkan:
- Antrean (queues) dan worker.
- Batasan sumber daya dan autoscaling.
- Kebijakan jaringan dan observabilitas.
Anda perlu tahu worker mana yang gagal dan tenant mana yang menciptakan beban paling besar.
Observabilitas Monitoring bukanlah bonus. Itu adalah bagian dari produk.
- Insinyur perlu tahu apa yang rusak.
- Pemimpin perlu tahu di mana nilai diciptakan dan di mana biaya meningkat.
Pelajaran terbesar: sistem-sistem ini saling terhubung. Jika AI kekurangan metering, ia menjadi mahal. Jika SSO kekurangan isolasi, ia menjadi berbahaya. Jika billing kekurangan penegakan (enforcement), ia hanya menjadi kosmetik.
Bagian tersulit dari membangun AI SaaS bukanlah prompt. Melainkan membuat identitas, data, biaya, dan infrastruktur bergerak bersama.
Komunitas belajar opsional: https://t.me/GyaanSetuAi