সেই AI API স্ট্যাক যা আমার স্টার্টআপকে বাঁচিয়েছিল

ছয় মাস আগে, আমি একটি LLM প্রোভাইডারের কাছ থেকে মাসে ৫০,০০০ ডলারের বিলের সম্মুখীন হয়েছিলাম। আমার স্টার্টআপটি স্থবির হয়ে পড়েছিল। আমরা একটি মাত্র ভেন্ডরের ওপর অতিরিক্ত নির্ভরশীল ছিলাম।

আমি বুঝতে পেরেছিলাম যে আমাকে AI ইনফ্রাস্ট্রাকচারকে প্রকৃত ইনফ্রাস্ট্রাকচারের মতো বিবেচনা করতে হবে। আমি AI-কে খেলনা হিসেবে দেখা বন্ধ করে এটিকে ব্যবসার একটি মূল খরচ হিসেবে বিবেচনা করতে শুরু করি।

বেশিরভাগ AI গাইড স্কেল (scale) বা পরিমাপের বিষয়টি এড়িয়ে যায়। তারা আপনাকে ডেমো দেখায় কিন্তু প্রকৃত বিলের বিষয়টি উপেক্ষা করে। আমি দুই বছর ধরে AI ফিচার পরিচালনা করছি। লক্ষ লক্ষ ব্যবহারকারীর কাছে পৌঁছানোর সময় কী ঘটে, তা আমি দেখেছি।

আপনি যদি প্রথম দিনেই ভুল প্রোভাইডার বেছে নেন, তবে একটি ভাইরাল লঞ্চের সময় আপনি টিকে নাও থাকতে পারেন।

লক্ষ্যটি সহজ। আপনার তিনটি জিনিস প্রয়োজন:

  • প্রতি টোকেনের জন্য অনুমানযোগ্য খরচ।
  • তাৎক্ষণিকভাবে মডেল পরিবর্তন করার ক্ষমতা।
  • এমন ক্রেডিট সিস্টেম যার মেয়াদ শেষ হয় না।

আমি শুরুতে একটি ভুল করেছিলাম। আমি সরাসরি একাধিক প্রোভাইডারের সাথে ইন্টিগ্রেশন করেছিলাম। প্রত্যেকের আলাদা SDK এবং আলাদা auth flow ছিল। আমি যদি একটি নতুন মডেল পরীক্ষা করতে চাইতাম, আমাকে আবার সাইন আপ করতে হতো। আমি যদি পরিবর্তন করতে চাইতাম, আমাকে আমার কোড পুনরায় লিখতে হতো।

এখন, আমি একটি ইউনিফাইড গেটওয়ে (unified gateway) ব্যবহার করি। এটি সবকিছু বদলে দিয়েছে।

কৌশলগুলোর তুলনা:

Direct Integration vs. Unified Gateway

  • প্রোভাইডার পরিবর্তন: কোড পুনরায় লেখা বনাম একটি স্ট্রিং পরিবর্তন করা
  • পেমেন্ট: আঞ্চলিক জটিলতা বনাম স্ট্যান্ডার্ড কার্ড
  • টেস্টিং: সম্পূর্ণ অনবোর্ডিং বনাম একটি কী (key) দিয়ে অ্যাক্সেস
  • আপটাইম: সিঙ্গেল পয়েন্ট অফ ফেইলিওর বনাম অটোমেটিক ফেইলওভার

একটি ইউনিফাইড গেটওয়ে আপনাকে প্রয়োজন অনুযায়ী টাস্ক রাউট (route) করতে দেয়। সবকিছুর জন্য আপনার GPT-4o প্রয়োজন নেই।

আমার বর্তমান রাউটিং লজিক:

  • Summarization এবং extraction: সবচেয়ে সস্তা মডেল ব্যবহার করুন।
  • Simple chat: মিড-টিয়ার মডেল ব্যবহার করুন।
  • Complex reasoning: প্রিমিয়াম মডেল ব্যবহার করুন।

আমাদের বেশিরভাগ ট্রাফিক সবচেয়ে সস্তা টিয়ারে চলে। এটি গুণমান বজায় রেখে আমাদের খরচ কম রাখে। আমরা আমাদের কাজের মাত্র ৫% এর জন্য প্রিমিয়াম মডেলগুলো সংরক্ষণ করি।

আমাদের প্রবৃদ্ধির পর্যায়ে, এই রাউটিং আমাদের বার্ষিক রানওয়েতে (runway) প্রায় ৫০০,০০০ ডলার সাশ্রয় করে। এটি কেবল একটি টুলের পছন্দ নয়। এটি টিকে থাকার লড়াই।

খুব দ্রুত এন্টারপ্রাইজ ফিচার কেনা বন্ধ করুন। আপনার যদি এখনও এন্টারপ্রাইজ গ্রাহক না থাকে, তবে SLA বা ডেডিকেটেড ক্যাপাসিটির জন্য টাকা দেবেন না। সেই টাকা বাঁচান। আগে নমনীয়তার (flexibility) জন্য তৈরি করুন।

যখন আপনি স্কেল করবেন, গেটওয়ে প্যাটার্নটি তখনও কাজ করবে। আপনি শুধু আপনার API কী এবং বাণিজ্যিক শর্তাবলী পরিবর্তন করবেন। আপনার কোড একই থাকবে।

প্রথম দিন থেকেই আপনার রাউটার তৈরি করুন। আপনার বেস URL স্ট্যান্ডার্ডাইজ করুন। মডেলের নামগুলো আপনার কোডের অংশ না করে কনফিগারেশনের অংশ হিসেবে রাখুন।

Source: https://dev.to/truelane/the-ai-api-stack-that-saved-my-startup-from-vendor-lock-in-50l6

Optional learning community: https://t.me/GyaanSetuAi