AI SaaS-এর পেছনের লুকানো আর্কিটেকচার
একটি AI SaaS প্ল্যাটফর্ম তৈরি করতে গিয়ে আমি একটি জিনিস শিখেছি।
কঠিন কাজটা LLM কল করা নয়। কঠিন কাজটা হলো একটি বাস্তব ব্যবসায় AI-কে কার্যকরভাবে কাজে লাগানো।
শুরুতে সবকিছু সহজ মনে হয়। আপনি ভাবেন:
- API keys মানে কেবল কিছু সিক্রেট।
- SSO মানে কেবল একটি কানেকশন।
- Billing মানে কেবল Stripe।
- Deployment মানে কেবল Docker।
- AI মানে কেবল একটি OpenAI কল।
তারপর যখন প্ল্যাটফর্মটি বাস্তব রূপ নেয়, প্রতিটি সহজ বিষয় একটি জটিল সিস্টেমে পরিণত হয়।
API Keys একটি API key কেবল একটি স্ট্রিং নয়। এন্টারপ্রাইজ SaaS-এ, একটি কী (key) অবশ্যই এগুলো সামলাতে হবে:
- Scopes এবং expiration।
- Revocation এবং audit logs।
- Tenant boundaries এবং rate limits।
- Plan-based access।
একটি কী-কে উত্তর দিতে হবে যে এর মালিক কে, এটি কোন tenant-এর অন্তর্ভুক্ত এবং এটি কী কী অ্যাক্সেস করতে পারে।
SSO and Identity একজন provider-কে কানেক্ট করা সহজ। কঠিন কাজ হলো কী বিশ্বাস করা হবে তা নির্ধারণ করা।
- আপনি কি email domain নাকি group-গুলোকে বিশ্বাস করবেন?
- একজন tenant admin কি একজন platform admin তৈরি করতে পারেন?
- যদি একজন user একাধিক tenant-এর অন্তর্ভুক্ত হন তবে কী হবে?
প্রকৃত SSO-এর জন্য প্রয়োজন issuer validation, role mapping, এবং session isolation।
Operating AI একটি model কল করা সহজ। কিন্তু AI পরিচালনা করা কঠিন। আপনাকে ট্র্যাক করতে হবে:
- Token consumption এবং খরচ।
- Provider usage এবং latency।
- Retries, timeouts, এবং fallbacks।
- Prompt governance এবং data boundaries।
একটি ডেমোর জন্য কেবল একটি response প্রয়োজন। কিন্তু একটি বিজনেস প্ল্যাটফর্মের জানা প্রয়োজন কোন tenant কোন model ব্যবহার করেছে এবং এর সঠিক খরচ কত হয়েছে।
Billing and Governance Stripe পেমেন্ট প্রসেস করে, কিন্তু এটি আপনার প্রোডাক্টকে সংজ্ঞায়িত করে না। সিরিয়াস SaaS বিলিং-কে যুক্ত করে:
- Quotas এবং feature gates।
- Tenant limits এবং subscription status।
- Deployment modes যেমন on-prem বা customer cloud।
Billing তখন বাণিজ্যিক governance হয়ে ওঠে। এটি নিয়ন্ত্রণ করে একজন customer কী কী ব্যবহার করতে পারবেন।
Execution and Scaling Kubernetes আপনাকে scalable করে তোলে না। আপনাকে workload ম্যানেজ করতে হবে আলাদা করার মাধ্যমে:
- Queues এবং workers।
- Resource limits এবং autoscaling।
- Network policies এবং observability।
আপনাকে জানতে হবে কোন workerটি fail করছে এবং কোন tenant সবচেয়ে বেশি load তৈরি করছে।
Observability Monitoring কোনো বোনাস নয়। এটি প্রোডাক্টের একটি অংশ।
- ইঞ্জিনিয়ারদের জানা প্রয়োজন কী ভেঙেছে বা কী কাজ করছে না।
- লিডারদের জানা প্রয়োজন কোথায় value তৈরি হচ্ছে এবং কোথায় খরচ বাড়ছে।
সবচেয়ে বড় শিক্ষা: এই সিস্টেমগুলো একে অপরের সাথে সংযুক্ত। যদি AI-তে metering না থাকে, তবে এটি ব্যয়বহুল হয়ে ওঠে। যদি SSO-তে isolation না থাকে, তবে এটি বিপজ্জনক হয়ে ওঠে। যদি billing-এ enforcement না থাকে, তবে এটি কেবল লোকদেখানো হয়ে দাঁড়ায়।
AI SaaS তৈরির সবচেয়ে কঠিন অংশটি prompt নয়। এটি হলো identity, data, costs, এবং infrastructure-কে একসাথে সমন্বিতভাবে পরিচালনা করা।
ঐচ্ছিক লার্নিং কমিউনিটি: https://t.me/GyaanSetuAi