AI SaaS-ന് പിന്നിലെ മറഞ്ഞിരിക്കുന്ന ആർക്കിടെക്ചർ

ഒരു AI SaaS പ്ലാറ്റ്‌ഫോം നിർമ്മിച്ചത് എന്നെ ഒരു കാര്യം പഠിപ്പിച്ചു.

ഒരു LLM വിളിക്കുക എന്നതല്ല പ്രയാസകരമായ കാര്യം. യഥാർത്ഥ ബിസിനസ്സിൽ AI എങ്ങനെ പ്രവർത്തിപ്പിക്കുന്നു എന്നതാണ് പ്രയാസകരമായ കാര്യം.

തുടക്കത്തിൽ എല്ലാം ലളിതമായി തോന്നും. നിങ്ങൾ ചിന്തിക്കുന്നത്:

  • API keys വെറും രഹസ്യങ്ങൾ മാത്രമാണ്.
  • SSO വെറുമൊരു കണക്ഷൻ മാത്രമാണ്.
  • Billing വെറും Stripe മാത്രമാണ്.
  • Deployment വെറും Docker മാത്രമാണ്.
  • AI എന്നത് വെറുമൊരു OpenAI call മാത്രമാണ്.

പിന്നീട് പ്ലാറ്റ്‌ഫോം യഥാർത്ഥമായിത്തുടങ്ങുന്നു. ഓരോ ലളിതമായ വിഷയവും ഒരു സങ്കീർണ്ണമായ സിസ്റ്റമായി മാറുന്നു.

API Keys ഒരു API key വെറുമൊരു സ്ട്രിംഗ് (string) മാത്രമല്ല. എന്റർപ്രൈസ് SaaS-ൽ, ഒരു കീ താഴെ പറയുന്നവ കൈകാര്യം ചെയ്യണം:

  • Scopes-ഉം കാലാവധി തീരുന്നതും (expiration).
  • റിക്കോവേഷനും (revocation) ഓഡിറ്റ് ലോഗുകളും.
  • ടെനന്റ് അതിരുകളും (tenant boundaries) റേറ്റ് ലിമിറ്റുകളും.
  • പ്ലാൻ അടിസ്ഥാനമാക്കിയുള്ള ആക്സസ്.

ആർക്കാണ് അതിന്റെ ഉടമസ്ഥാവകാശം, അത് ഏത് ടെനന്റിന്റേതാണ്, അതിന് എന്തിനൊക്കെ ആക്സസ് ചെയ്യാം എന്ന ചോദ്യങ്ങൾക്ക് ഒരു കീ ഉത്തരം നൽകണം.

SSO and Identity ഒരു പ്രൊവൈഡറെ കണക്ട് ചെയ്യുന്നത് എളുപ്പമാണ്. എന്നാൽ എന്തിനെ വിശ്വസിക്കണം എന്ന് തീരുമാനിക്കുന്നതാണ് പ്രയാസകരമായ കാര്യം.

  • നിങ്ങൾ ഇമെയിൽ ഡൊമൈനിനെയാണോ അതോ ഗ്രൂപ്പുകളെയാണോ വിശ്വസിക്കുന്നത്?
  • ഒരു ടെനന്റ് അഡ്മിന് പ്ലാറ്റ്‌ഫോം അഡ്മിനെ സൃഷ്ടിക്കാൻ കഴിയുമോ?
  • ഒരു ഉപയോക്താവ് ഒന്നിലധികം ടെനന്റുകളിൽ ഉൾപ്പെട്ടാൽ എന്ത് സംഭവിക്കും?

യഥാർത്ഥ SSO-യ്ക്ക് ഇഷ്യൂവർ വാലിഡേഷൻ (issuer validation), റോൾ മാപ്പിംഗ് (role mapping), സെഷൻ ഐസൊലേഷൻ (session isolation) എന്നിവ ആവശ്യമാണ്.

Operating AI ഒരു മോഡൽ വിളിക്കുന്നത് എളുപ്പമാണ്. എന്നാൽ AI പ്രവർത്തിപ്പിക്കുന്നത് പ്രയാസകരമാണ്. നിങ്ങൾക്ക് ഇവ ട്രാക്ക് ചെയ്യേണ്ടതുണ്ട്:

  • ടോക്കൺ ഉപയോഗവും (token consumption) ചിലവും.
  • പ്രൊവൈഡർ ഉപയോഗവും ലേറ്റൻസിയും (latency).
  • റീട്രൈകൾ (retries), ടൈമൗട്ടുകൾ (timeouts), ഫാള்பാക്കുകൾ (fallbacks).
  • പ്രോംപ്റ്റ് ഗവേണൻസും (prompt governance) ഡാറ്റാ അതിരുകളും.

ഒരു ഡെമോയ്ക്ക് ഒരു മറുപടി മാത്രം മതിയാകും. എന്നാൽ ഒരു ബിസിനസ് പ്ലാറ്റ്‌ഫോമിന് ഏത് ടെനന്റ് ഏത് മോഡൽ ഉപയോഗിച്ചു എന്നും അതിന്റെ കൃത്യമായ ചിലവ് എത്രയാണെന്നും അറിയേണ്ടതുണ്ട്.

Billing and Governance Stripe പേയ്‌മെന്റുകൾ പ്രോസസ്സ് ചെയ്യുന്നു, പക്ഷേ അത് നിങ്ങളുടെ ഉൽപ്പന്നത്തെ നിർവചിക്കുന്നില്ല. ഗൗരവകരമായ SaaS ബില്ലിംഗിനെ താഴെ പറയുന്നവയുമായി ബന്ധിപ്പിക്കുന്നു:

  • ക്വാട്ടകളും (quotas) ഫീച്ചർ ഗേറ്റുകളും (feature gates).
  • ടെനന്റ് പരിധികളും സബ്‌സ്‌ക്രിപ്ഷൻ സ്റ്റാറ്റസും.
  • ഓൺ-പ്രെം (on-prem) അല്ലെങ്കിൽ കസ്റ്റമർ ക്ലൗഡ് പോലുള്ള ഡിപ്ലോയ്‌മെന്റ് രീതികൾ.

ബില്ലിംഗ് എന്നത് വാണിജ്യപരമായ ഗവേണൻസായി മാറുന്നു. ഉപഭോക്താവിന് എന്തൊക്കെ ഉപയോഗിക്കാൻ അനുവാദമുണ്ടെന്ന് ഇത് നിയന്ത്രിക്കുന്നു.

Execution and Scaling Kubernetes നിങ്ങളെ സ്കെയിലബിൾ (scalable) ആക്കുന്നില്ല. താഴെ പറയുന്നവ വേർതിരിച്ചുകൊണ്ട് നിങ്ങൾ വർക്ക്ലോഡുകൾ (workloads) നിയന്ത്രിക്കണം:

  • ക്യൂകളും (queues) വർക്കർമാരും (workers).
  • റിസോഴ്സ് പരിധികളും ഓട്ടോസ്കെയിലിംഗും (autoscaling).
  • നെറ്റ്‌വർക്ക് പോളിസികളും ഒബ്സർവബിലിറ്റിയും (observability).

ഏത് വർക്കറാണ് പരാജയപ്പെടുന്നത് എന്നും ഏത് ടെനന്റാണ് ഏറ്റവും കൂടുതൽ ലോഡ് ഉണ്ടാക്കുന്നത് എന്നും നിങ്ങൾക്ക് അറിയേണ്ടതുണ്ട്.

Observability മോണിറ്ററിംഗ് എന്നത് ഒരു അധിക സൗകര്യമല്ല. അത് ഉൽപ്പന്നത്തിന്റെ ഭാഗമാണ്.

  • എന്ത് തകരാറാണ് സംഭവിച്ചതെന്ന് എഞ്ചിനീയർമാർക്ക് അറിയണം.
  • എവിടെയാണ് മൂല്യം സൃഷ്ടിക്കപ്പെടുന്നതെന്നും എവിടെയാണ് ചിലവ് കൂടുന്നതെന്നും നേതാക്കൾക്ക് അറിയണം.

ഏറ്റവും വലിയ പാഠം