Прихована архітектура AI SaaS
Розробка AI SaaS платформи навчила мене одного.
Найскладніше — це не виклик LLM. Найскладніше — це змусити AI працювати в реальному бізнесі.
Спочатку все здається простим. Ви думаєте:
- API-ключі — це просто секрети.
- SSO — це просто підключення.
- Білінг — це просто Stripe.
- Деплой — це просто Docker.
- AI — це просто виклик OpenAI.
Потім платформа стає реальною. Кожна проста тема перетворюється на складну систему.
API Keys API-ключ — це не просто рядок. В enterprise SaaS ключ має забезпечувати:
- Області доступу (scopes) та термін дії.
- Відкликання та журнали аудиту.
- Межі тенантів та ліміти запитів (rate limits).
- Доступ на основі тарифного плану.
Ключ має відповідати на питання: хто ним володіє, до якого тенанта він належить і до чого він має доступ.
SSO and Identity Підключити провайдера легко. Найскладніше — вирішити, чому довіряти.
- Чи довіряєте ви домену електронної пошти чи групам?
- Чи може адмін тенанта створити адміна платформи?
- Що станеться, якщо користувач належить до кількох тенантів?
Справжній SSO потребує валідації емітента, мапінгу ролей та ізоляції сесій.
Operating AI Викликати модель легко. Операційне управління AI — це складно. Вам потрібно відстежувати:
- Споживання токенів та витрати.
- Використання провайдерів та затримку (latency).
- Повторні спроби, таймаути та резервні варіанти (fallbacks).
- Управління промптами та межі даних.
Для демо потрібна лише відповідь. Бізнес-платформі потрібно знати, який тенант використовував яку модель і скільки саме це коштувало.
Billing and Governance Stripe обробляє платежі, але він не визначає ваш продукт. Серйозний SaaS пов'язує білінг із:
- Квотами та обмеженням функціоналу (feature gates).
- Лімітами тенантів та статусом підписки.
- Режимами розгортання, такими як on-prem або хмара клієнта.
Білінг стає комерційним управлінням. Він контролює, що клієнту дозволено використовувати.
Execution and Scaling Kubernetes не робить вас масштабованими автоматично. Ви повинні керувати навантаженням, розділяючи:
- Черги та воркери (workers).
- Ліміти ресурсів та автомасштабування.
- Мережеві політики та спостережуваність (observability).
Вам потрібно знати, який воркер дає збій і який тенант створює найбільше навантаження.
Observability Моніторинг — це не бонус. Це частина продукту.
- Інженерам потрібно знати, що саме зламалося.
- Керівникам потрібно знати, де створюється цінність, а де зростають витрати.
Головний урок: ці системи взаємопов'язані. Якщо в AI немає обліку споживання (metering), він стає дорогим. Якщо в SSO немає ізоляції, він стає небезпечним. Якщо білінг не забезпечує контроль (enforcement), він стає лише формальністю.
Найскладніше в розробці AI SaaS — це не промпт. Це змусити ідентифікацію, дані, витрати та інфраструктуру працювати злагоджено.
Optional learning community: https://t.me/GyaanSetuAi