𝗧𝗵𝗲 𝗛𝗶𝗱𝗱𝗲𝗻 𝗔𝗿𝗰𝗵𝗶𝘁𝗲𝗰𝘁𝘂𝗿𝗲 𝗕𝗲𝗵𝗶𝗻𝗱 𝗔𝗜 𝗦𝗮𝗮𝗦
ಒಂದು AI SaaS ಪ್ಲಾಟ್ಫಾರ್ಮ್ ಅನ್ನು ನಿರ್ಮಿಸುವುದು ನನಗೆ ಒಂದು ವಿಷಯವನ್ನು ಕಲಿಸಿತು.
ಕಷ್ಟದ ಕೆಲಸವೆಂದರೆ LLM ಅನ್ನು ಕರೆಯುವುದಲ್ಲ. ಕಷ್ಟದ ಕೆಲಸವೆಂದರೆ ನಿಜವಾದ ವ್ಯವಹಾರದಲ್ಲಿ AI ಅನ್ನು ಕಾರ್ಯಗತಗೊಳಿಸುವುದು.
ಮೊದಲಿಗೆ, ಎಲ್ಲವೂ ಸರಳವಾಗಿ ಕಾಣುತ್ತದೆ. ನೀವು ಹೀಗೆ ಯೋಚಿಸುತ್ತೀರಿ:
- API ಕೀಗಳು ಕೇವಲ ರಹಸ್ಯಗಳು (secrets).
- SSO ಕೇವಲ ಒಂದು ಸಂಪರ್ಕ (connection).
- ಬಿಲ್ಲಿಂಗ್ ಕೇವಲ Stripe.
- ಡಿಪ್ಲಾಯ್ಮೆಂಟ್ ಕೇವಲ Docker.
- AI ಕೇವಲ ಒಂದು OpenAI ಕರೆಯಷ್ಟೇ.
ನಂತರ ಪ್ಲಾಟ್ಫಾರ್ಮ್ ವಾಸ್ತವವಾಗುತ್ತದೆ. ಪ್ರತಿಯೊಂದು ಸರಳ ವಿಷಯವು ಒಂದು ಸಂಕೀರ್ಣ ವ್ಯವಸ್ಥೆಯಾಗಿ ಬದಲಾಗುತ್ತದೆ.
API Keys API ಕೀಯು ಕೇವಲ ಒಂದು ಸ್ಟ್ರಿಂಗ್ (string) ಅಲ್ಲ. ಎಂಟರ್ಪ್ರೈಸ್ SaaS ನಲ್ಲಿ, ಕೀಯು ಈ ಕೆಳಗಿನವುಗಳನ್ನು ನಿರ್ವಹಿಸಬೇಕು:
- ಸ್ಕೋಪ್ಗಳು (Scopes) ಮತ್ತು ಅವಧಿ ಮುಕ್ತಾಯ (expiration).
- ರದ್ದುಗೊಳಿಸುವಿಕೆ (Revocation) ಮತ್ತು ಆಡಿಟ್ ಲಾಗ್ಗಳು (audit logs).
- ಟೆನೆಂಟ್ ಮಿತಿಗಳು (Tenant boundaries) ಮತ್ತು ರೇಟ್ ಲಿಮಿಟ್ಗಳು (rate limits).
- ಪ್ಲಾನ್ ಆಧಾರಿತ ಪ್ರವೇಶ (Plan-based access).
ಕೀಯು ಅದನ್ನು ಯಾರು ಹೊಂದಿದ್ದಾರೆ, ಅದು ಯಾವ ಟೆನೆಂಟ್ಗೆ ಸೇರಿದೆ ಮತ್ತು ಅದು ಏನನ್ನು ಪ್ರವೇಶಿಸಬಹುದು ಎಂಬುದಕ್ಕೆ ಉತ್ತರಿಸಬೇಕು.
SSO ಮತ್ತು Identity ಒಂದು ಪ್ರೊವೈಡರ್ ಅನ್ನು ಸಂಪರ್ಕಿಸುವುದು ಸುಲಭ. ಯಾವುದನ್ನು ನಂಬಬೇಕೆಂದು ನಿರ್ಧರಿಸುವುದು ಕಷ್ಟದ ಕೆಲಸ.
- ನೀವು ಇಮೇಲ್ ಡೊಮೇನ್ ಅನ್ನು ನಂಬುತ್ತೀರಾ ಅಥವಾ ಗ್ರೂಪ್ಗಳನ್ನು ನಂಬುತ್ತೀರಾ?
- ಟೆನೆಂಟ್ ಅಡ್ಮಿನ್ ಒಬ್ಬ ಪ್ಲಾಟ್ಫಾರ್ಮ್ ಅಡ್ಮಿನ್ ಅನ್ನು ರಚಿಸಬಲ್ಲರೇ?
- ಒಬ್ಬ ಬಳಕೆದಾರರು ಹಲವಾರು ಟೆನೆಂಟ್ಗಳಿಗೆ ಸೇರಿದರೆ ಏನಾಗುತ್ತದೆ?
ನೈಜ SSO ಗೆ ಇಶ್ಯೂಯರ್ ವ್ಯಾಲಿಡೇಶನ್ (issuer validation), ರೋಲ್ ಮ್ಯಾಪಿಂಗ್ (role mapping) ಮತ್ತು ಸೆಷನ್ ಐಸೊಲೇಶನ್ (session isolation) ಅಗತ್ಯವಿದೆ.
Operating AI ಒಂದು ಮಾಡೆಲ್ ಅನ್ನು ಕರೆಯುವುದು ಸುಲಭ. AI ಅನ್ನು ನಿರ್ವಹಿಸುವುದು ಕಷ್ಟ. ನೀವು ಈ ಕೆಳಗಿನವುಗಳನ್ನು ಟ್ರ್ಯಾಕ್ ಮಾಡಬೇಕಾಗುತ್ತದೆ:
- ಟೋಕನ್ ಬಳಕೆ ಮತ್ತು ವೆಚ್ಚ.
- ಪ್ರೊವೈಡರ್ ಬಳಕೆ ಮತ್ತು ವಿಳಂಬ (latency).
- ರಿಟ್ರೈಗಳು (Retries), ಟೈಮೌಟ್ಗಳು (timeouts) ಮತ್ತು ಫಾಲ್ಬ್ಯಾಕ್ಗಳು (fallbacks).
- ಪ್ರಾಂಪ್ಟ್ ಗವರ್ನೆನ್ಸ್ (Prompt governance) ಮತ್ತು ಡೇಟಾ ಮಿತಿಗಳು (data boundaries).
ಒಂದು ಡೆಮೊಗೆ ಕೇವಲ ಒಂದು ಪ್ರತಿಕ್ರಿಯೆ (response) ಬೇಕು. ಆದರೆ ವ್ಯವಹಾರದ ಪ್ಲಾಟ್ಫಾರ್ಮ್ ಯಾವ ಟೆನೆಂಟ್ ಯಾವ ಮಾಡೆಲ್ ಅನ್ನು ಬಳಸಿತು ಮತ್ತು ಅದಕ್ಕೆ ನಿಖರವಾಗಿ ಎಷ್ಟು ವೆಚ್ಚವಾಯಿತು ಎಂಬುದನ್ನು ತಿಳಿಯಬೇಕಾಗುತ್ತದೆ.
Billing and Governance Stripe ಪಾವತಿಗಳನ್ನು ಪ್ರಕ್ರಿಯೆಗೊಳಿಸುತ್ತದೆ, ಆದರೆ ಅದು ನಿಮ್ಮ ಉತ್ಪನ್ನವನ್ನು ವ್ಯಾಖ್ಯಾನಿಸುವುದಿಲ್ಲ. ಗಂಭೀರವಾದ SaaS ಬಿಲ್ಲಿಂಗ್ ಅನ್ನು ಇವುಗಳೊಂದಿಗೆ ಸಂಪರ್ಕಿಸುತ್ತದೆ:
- ಕೋಟಾಗಳು (Quotas) ಮತ್ತು ಫೀಚರ್ ಗೇಟ್ಗಳು (feature gates).
- ಟೆನೆಂಟ್ ಮಿತಿಗಳು ಮತ್ತು ಚಂದಾದಾರಿಕೆಯ ಸ್ಥಿತಿ (subscription status).
- ಆನ್-ಪ್ರೆಮ್ (on-prem) ಅಥವಾ ಗ್ರಾಹಕರ ಕ್ಲೌಡ್ನಂತಹ ಡಿಪ್ಲಾಯ್ಮೆಂಟ್ ಮೋಡ್ಗಳು.
ಬಿಲ್ಲಿಂಗ್ ವಾಣಿಜ್ಯ ಆಡಳಿತವಾಗಿ (commercial governance) ಬದಲಾಗುತ್ತದೆ. ಗ್ರಾಹಕರು ಏನನ್ನು ಬಳಸಲು ಅನುಮತಿಸಲಾಗಿದೆ ಎಂಬುದನ್ನು ಇದು ನಿಯಂತ್ರಿಸುತ್ತದೆ.
Execution and Scaling Kubernetes ನಿಮ್ಮನ್ನು ಸ್ಕೇलेबल (scalable) ಮಾಡುವುದಿಲ್ಲ. ನೀವು ಈ ಕೆಳಗಿನವುಗಳನ್ನು ಪ್ರತ್ಯೇಕಿಸುವ ಮೂಲಕ ವರ್ಕ್ಲೋಡ್ಗಳನ್ನು ನಿರ್ವಹಿಸಬೇಕು:
- ಕ್ಯೂಗಳು (Queues) ಮತ್ತು ವರ್ಕರ್ಸ್ (workers).
- ಸಂಪನ್ಮೂಲ ಮಿತಿಗಳು (Resource limits) ಮತ್ತು ಆಟೋಸ್ಕೇಲಿಂಗ್ (autoscaling).
- ನೆಟ್ವರ್ಕ್ ಪಾಲಿಸಿಗಳು ಮತ್ತು ಅಬ್ಸರ್ವೇಬಿಲಿಟಿ (observability).
ಯಾವ ವರ್ಕರ್ ವಿಫಲವಾಗುತ್ತಿದೆ ಮತ್ತು ಯಾವ ಟೆನೆಂಟ್ ಅತಿ ಹೆಚ್ಚು ಲೋಡ್ ಸೃಷ್ಟಿಸುತ್ತಿದೆ ಎಂಬುದನ್ನು ನೀವು ತಿಳಿಯಬೇಕಾಗುತ್ತದೆ.
Observability ಮಾನಿಟರಿಂಗ್ ಎಂಬುದು ಬೋನಸ್ ಅಲ್ಲ. ಅದು ಉತ್ಪನ್ನದ ಒಂದು ಭಾಗವಾಗಿದೆ.
- ಎಂಜಿನಿಯರ್ಗಳಿಗೆ ಏನು ಕೆಟ್ಟುಹೋಗಿದೆ ಎಂಬುದು ತಿಳಿಯಬೇಕು.
- ನಾಯಕರಿಗೆ ಮೌಲ್ಯ ಎಲ್ಲಿ ಸೃಷ್ಟಿಯಾಗುತ್ತಿದೆ ಮತ್ತು ವೆಚ್ಚಗಳು ಎಲ್ಲಿ ಹೆಚ್ಚಾಗುತ್ತಿವೆ ಎಂಬುದು ತಿಳಿಯಬೇಕು.
ದೊಡ್ಡ ಪಾಠವೆಂದರೆ: ಈ ವ್ಯವಸ್ಥೆಗಳು ಪರಸ್ಪರ ಸಂಬಂಧ ಹೊಂದಿವೆ. AI ನಲ್ಲಿ ಮೀಟರಿಂಗ್ (metering) ಇಲ್ಲದಿದ್ದರೆ, ಅದು ದುಬಾರಿಯಾಗುತ್ತದೆ. SSO ನಲ್ಲಿ ಐಸೊಲೇಶನ್ ಇಲ್ಲದಿದ್ದರೆ, ಅದು ಅಪಾಯಕಾರಿಯಾಗುತ್ತದೆ. ಬಿಲ್ಲಿಂಗ್ನಲ್ಲಿ ಜಾರಿ (enforcement) ಇಲ್ಲದಿದ್ದರೆ, ಅದು ಕೇವಲ ಬಾಹ್ಯ ಪ್ರದರ್ಶನವಾಗುತ್ತದೆ.
AI SaaS ನಿರ್ಮಿಸುವ ಕಠಿಣ ಭಾಗವು ಪ್ರಾಂಪ್ಟ್ ಅಲ್ಲ. ಅದು ಐಡೆಂಟಿಟಿ, ಡೇಟಾ, ವೆಚ್ಚಗಳು ಮತ್ತು ಇನ್ಫ್ರಾಸ್ಟ್ರಕ್ಚರ್ ಅನ್ನು ಒಟ್ಟಾಗಿ ಕೆಲಸ ಮಾಡುವಂತೆ ಮಾಡುವುದು.
Optional learning community: https://t.me/GyaanSetuAi