AI SaaS પાછળનું છુપાયેલું આર્કિટેક્ચર
AI SaaS પ્લેટફોર્મ બનાવવાથી મને એક વાત શીખવા મળી.
અઘરો ભાગ LLM ને કોલ કરવાનો નથી. અઘરો ભાગ AI ને વાસ્તવિક વ્યવસાયમાં કાર્યરત કરવાનો છે.
શરૂઆતમાં, બધું સરળ લાગે છે. તમે વિચારો છો:
- API keys માત્ર સિક્રેટ્સ છે.
- SSO માત્ર એક કનેક્શન છે.
- Billing માત્ર Stripe છે.
- Deployment માત્ર Docker છે.
- AI માત્ર એક OpenAI કોલ છે.
પછી પ્લેટફોર્મ વાસ્તવિક બને છે. દરેક સરળ વિષય એક જટિલ સિસ્ટમમાં ફેરવાઈ જાય છે.
API Keys API key માત્ર એક સ્ટ્રિંગ નથી. એન્ટરપ્રાઇઝ SaaS માં, એક કીએ આ બાબતો સંભાળવી જોઈએ:
- Scopes અને expiration.
- Revocation અને ઓડિટ લોગ્સ.
- Tenant સીમાઓ અને rate limits.
- પ્લાન-આધારિત એક્સેસ.
એક કીએ જવાબ આપવો જોઈએ કે તેનો માલિક કોણ છે, તે કયા ટેનન્ટનો છે, અને તે શેનો ઉપયોગ કરી શકે છે.
SSO અને Identity પ્રોવાઈડરને કનેક્ટ કરવો સરળ છે. અઘરો ભાગ એ નક્કી કરવાનો છે કે શેના પર વિશ્વાસ કરવો.
- શું તમે ઈમેલ ડોમેન પર વિશ્વાસ કરો છો કે ગ્રુપ્સ પર?
- શું ટેનન્ટ એડમિન પ્લેટફોર્મ એડમિન બનાવી શકે છે?
- જો કોઈ યુઝર એકથી વધુ ટેનન્ટ્સનો ભાગ હોય તો શું થાય?
વાસ્તવિક SSO માટે issuer validation, role mapping, અને session isolationની જરૂર હોય છે.
Operating AI મોડેલને કોલ કરવું સરળ છે. AI ને ઓપરેટ કરવું અઘરું છે. તમારે આ બાબતો ટ્રેક કરવાની જરૂર છે:
- Token વપરાશ અને ખર્ચ.
- પ્રોવાઈડર વપરાશ અને latency.
- Retries, timeouts, અને fallbacks.
- Prompt ગવર્નન્સ અને ડેટા સીમાઓ.
ડેમોને માત્ર પ્રતિસાદ (response) ની જરૂર હોય છે. બિઝનેસ પ્લેટફોર્મને એ જાણવાની જરૂર છે કે કયા ટેનન્ટે કયું મોડેલ વાપર્યું અને તેનો ચોક્કસ કેટલો ખર્ચ થયો.
Billing અને Governance Stripe પેમેન્ટ પ્રોસેસ કરે છે, પરંતુ તે તમારા પ્રોડક્ટને વ્યાખ્યાયિત કરતું નથી. ગંભીર SaaS billing ને આ સાથે જોડે છે:
- Quotas અને feature gates.
- ટેનન્ટ લિમિટ્સ અને સબ્સ્ક્રિપ્શન સ્ટેટસ.
- Deployment મોડ્સ જેમ કે on-prem અથવા કસ્ટમર ક્લાઉડ.
Billing વ્યાપારી ગવર્નન્સ બની જાય છે. તે ગ્રાહકને શું વાપરવાની મંજૂરી છે તેનું નિયંત્રણ કરે છે.
Execution અને Scaling Kubernetes તમને સ્કેલેબલ બનાવતું નથી. તમારે આ બાબતોને અલગ કરીને વર્કલોડ્સનું સંચાલન કરવું જોઈએ:
- Queues અને workers.
- Resource limits અને autoscaling.
- Network policies અને observability.
તમારે જાણવાની જરૂર છે કે કયો worker નિષ્ફળ જઈ રહ્યો છે અને કયો ટેનન્ટ સૌથી વધુ લોડ બનાવે છે.
Observability મોનિટરિંગ એ કોઈ બોનસ નથી. તે પ્રોડક્ટનો ભાગ છે.
- એન્જિનિયરોએ જાણવાની જરૂર છે કે શું બગડ્યું છે.
- લીડર્સને જાણવાની જરૂર છે કે ક્યાં મૂલ્ય (value) સર્જાય છે અને ક્યાં ખર્ચ વધે છે.
સૌથી મોટો પાઠ: આ સિસ્ટમ્સ એકબીજા સાથે જોડાયેલી છે. જો AI માં મીટરિંગનો અભાવ હોય, તો તે મોંઘું બની જાય છે. જો SSO માં આઇસોલેશનનો અભાવ હોય, તો તે જોખમી બની જાય છે. જો billing માં અમલીકરણ (enforcement) નો અભાવ હોય, તો તે માત્ર દેખાવ પૂરતું રહી જાય છે.
AI SaaS બનાવવાનો સૌથી અઘરો ભાગ પ્રોમ્પ્ટ નથી. તે આઇડેન્ટિટી, ડેટા, ખર્ચ અને ઇન્ફ્રાસ્ટ્રક્ચરને એકસાથે ચલાવવાનો છે.
Optional learning community: https://t.me/GyaanSetuAi