Die verborgene Architektur hinter AI SaaS
Der Aufbau einer AI-SaaS-Plattform hat mich eines gelehrt.
Der schwierige Teil ist nicht der Aufruf eines LLM. Der schwierige Teil ist es, KI in einem echten Unternehmen zum Laufen zu bringen.
Zuerst sieht alles einfach aus. Man denkt:
- API-Keys sind nur Geheimnisse.
- SSO ist nur eine Verbindung.
- Billing ist nur Stripe.
- Deployment ist nur Docker.
- KI ist nur ein OpenAI-Aufruf.
Dann wird die Plattform real. Jedes einfache Thema verwandelt sich in ein komplexes System.
API-Keys Ein API-Key ist nicht nur ein String. In Enterprise-SaaS muss ein Key Folgendes handhaben:
- Scopes und Ablaufdaten.
- Widerruf und Audit-Logs.
- Mandantentrennung und Rate Limits.
- Planbasierter Zugriff.
Ein Key muss beantworten, wem er gehört, zu welchem Mandanten er gehört und worauf er zugreifen kann.
SSO und Identität Die Anbindung eines Providers ist einfach. Der schwierige Teil ist die Entscheidung, was man vertraut.
- Vertraut man der E-Mail-Domain oder den Gruppen?
- Kann ein Mandanten-Admin einen Plattform-Admin erstellen?
- Was passiert, wenn ein Nutzer mehreren Mandanten angehört?
Echtes SSO erfordert Issuer-Validierung, Role-Mapping und Sitzungsisolation.
KI im Betrieb Einen Modellaufruf zu tätigen ist einfach. Den Betrieb von KI zu gewährleisten, ist schwer. Man muss Folgendes tracken:
- Token-Verbrauch und Kosten.
- Provider-Nutzung und Latenz.
- Retries, Timeouts und Fallbacks.
- Prompt-Governance und Datengrenzen.
Eine Demo benötigt nur eine Antwort. Eine Business-Plattform muss wissen, welcher Mandant welches Modell genutzt hat und wie hoch die Kosten exakt waren.
Billing und Governance Stripe verarbeitet Zahlungen, aber es definiert nicht Ihr Produkt. Seriöses SaaS verknüpft das Billing mit:
- Quoten und Feature-Gates.
- Mandantengrenzen und Abonnementstatus.
- Deployment-Modi wie On-Premise oder Customer Cloud.
Billing wird zu kommerzieller Governance. Es steuert, was ein Kunde nutzen darf.
Ausführung und Skalierung Kubernetes macht Sie nicht skalierbar. Sie müssen Workloads verwalten, indem Sie Folgendes trennen:
- Queues und Worker.
- Ressourcenlimits und Autoscaling.
- Netzwerkrichtlinien und Observability.
Man muss wissen, welcher Worker ausfällt und welcher Mandant die höchste Last erzeugt.
Observability Monitoring ist kein Bonus. Es ist Teil des Produkts.
- Ingenieure müssen wissen, was defekt ist.
- Führungskräfte müssen wissen, wo Wert geschaffen wird und wo die Kosten steigen.
Die wichtigste Lektion: Diese Systeme sind miteinander verbunden. Wenn der KI das Metering fehlt, wird sie teuer. Wenn dem SSO die Isolation fehlt, wird es gefährlich. Wenn dem Billing die Durchsetzung fehlt, wird es zur bloßen Kosmetik.
Der schwierigste Teil beim Aufbau von AI SaaS ist nicht der Prompt. Es ist das Zusammenspiel von Identität, Daten, Kosten und Infrastruktur.
Optional learning community: https://t.me/GyaanSetuAi