Novita সম্প্রতি তাদের LLM প্রাইসিং আপডেট করেছে। যারা এই প্ল্যাটফর্মের মাধ্যমে প্রোডাকশন ইনফারেন্স (production inference) চালাচ্ছেন, সেই দলগুলোর জন্য এই বাক্যটি আপনার বর্তমান খরচের একটি তাৎক্ষণিক অডিট করার সংকেত। API রেটের পরিবর্তন খুব কমই সুবিধাজনক সময়ে আসে, এবং যখন এটি একাধিক মডেল টিয়ারের ওপর প্রভাব ফেলে, তখন আপনার মাসিক খরচের (monthly burn) ওপর এর প্রভাব প্রত্যাশার চেয়েও বেশি হতে পারে।

কেন ইনফারেন্স প্রাইসিং আপনার মনোযোগ দাবি করে

বেশিরভাগ আধুনিক AI অ্যাপ্লিকেশন নিজে পরিচালিত (self-managed) GPU ক্লাস্টারের ওপর ভিত্তি করে তৈরি নয়। ডেভেলপাররা Novita-র মতো ইনফারেন্স প্রোভাইডারদের কাছে রিকোয়েস্ট পাঠান কারণ বিকল্প হিসেবে হার্ডওয়্যার সংগ্রহ করা, vLLM বা TGI ডেপ্লয়মেন্ট পরিচালনা করা এবং ট্রাফিক বৃদ্ধির সময় কোল্ড স্টার্ট (cold starts) সামলানো বেশ জটিল। এই সুবিধাটি মূল্যবান। তবে এটি পরিমাপযোগ্য (metered)। প্রতিটি জেনারেট করা টোকেন একটি বিলের সাথে যুক্ত হয় যা ইউজার সেশন, ব্যাকগ্রাউন্ড জব এবং ইন্টারনাল টুলসের মাধ্যমে ক্রমাগত বাড়তে থাকে।

যখন কোনো প্রোভাইডার তাদের প্রাইসিং পরিবর্তন করে, তখন তার প্রভাব আপনার পুরো স্ট্যাকের ওপর পড়ে। প্রতিদিন দশ হাজার কাস্টমার কনভারসেশন হ্যান্ডেল করা একটি চ্যাটবট এক সপ্তাহে হয়তো ৪০ মিলিয়ন ইনপুট টোকেন এবং ১২ মিলিয়ন আউটপুট টোকেন ব্যবহার করতে পারে। প্রতি মিলিয়নের রেট যদি মাত্র কয়েক ডলারও পরিবর্তিত হয়, তবে মাসিক পার্থক্যটি দ্রুত উল্লেখযোগ্য হয়ে ওঠে। বুটস্ট্র্যাপড (bootstrapped) প্রোডাক্ট বা কম মার্জিনে কাজ করা দলগুলোর জন্য, এই পার্থক্যটি তাদের মুনাফা মুছে দিতে পারে। একটি ব্রাউজার এক্সটেনশন হিসেবে চলা কোডিং অ্যাসিস্ট্যান্ট, সারারাত প্রসেস হওয়া একটি ব্যাচ সামারাইজেশন পাইপলাইন, বা প্রতি পেজ লোডে মডেল কুয়েরি করা একটি ইন্টারনাল লুকআপ টুল—সবগুলোর ক্ষেত্রেই একই ঝুঁকি রয়েছে। তাদের ইউনিট ইকোনমিক্স নির্ভর করে পরবর্তী টোকেনের সঠিক দামের ওপর।

Novita-তে কী পরিবর্তন হয়েছে

Novita তাদের ক্যাটালগের বিভিন্ন মডেলের জন্য নতুন খরচ চালু করেছে। কোম্পানিটি সব ক্ষেত্রে একই হারে শতাংশ বৃদ্ধি বা হ্রাস করেনি। পরিবর্তে, এই সমন্বয়গুলো মডেলভেদে ভিন্ন ভিন্ন, যার মানে হলো আপনি ঠিক কোন এন্ডপয়েন্টগুলো (endpoints) ব্যবহার করছেন তার ওপর ভিত্তি করে আপনার বিল পরিবর্তিত হবে।

যদি আপনার অ্যাপ্লিকেশন সমস্ত ট্রাফিক একটি মাত্র লার্জ ল্যাঙ্গুয়েজ মডেলের মাধ্যমে পরিচালনা করে, তবে আপনার হিসাব করা সহজ। পুরনো রেটের সাথে নতুন রেট তুলনা করুন এবং সম্ভাব্য ক্ষতি বা সাশ্রয় অনুমান করুন। কিন্তু বেশিরভাগ প্রোডাকশন সেটআপ অনেক বেশি জটিল। দলগুলো প্রায়ই এমন রাউটিং লজিক ব্যবহার করে যা সাধারণ কুয়েরিগুলোকে হালকা মডেলগুলোতে পাঠায় এবং জটিল রিজনিং কাজের জন্য ভারী মডেলগুলো সংরক্ষণ করে। অন্যরা ল্যাটেন্সি এবং কোয়ালিটি তুলনা করার জন্য একাধিক মডেলের ওপর A/B টেস্ট চালায়। সেই সব ক্ষেত্রে, মাত্র এক বা দুটি মডেলের দামের পরিবর্তন আপনার পুরো কস্ট স্ট্রাকচারকে বদলে দিতে পারে।

প্রতি-টোকেন এবং প্রতি-রিকোয়েস্টের নির্দিষ্ট পরিসংখ্যানগুলো Narevbot কর্তৃক Dev.to-তে প্রকাশিত একটি বিস্তারিত ব্রেকডাউনে দেওয়া হয়েছে। আপনি এখানে সঠিক রেট কার্ডটি দেখে নিতে পারেন: https://dev.to/narevbot/changes-to-llm-pricing-novita-3plc

আপনার মেমরি বা ডকুমেন্টেশনে লুকিয়ে থাকা কোনো পুরনো স্ক্রিনশটের ওপর নির্ভর করবেন না। পরবর্তী কোয়ার্টারের পরিকল্পনা করার আগে সরাসরি সেই উৎস থেকে বর্তমান সংখ্যাগুলো সংগ্রহ করুন।

কীভাবে আপনার ঝুঁকির পরিমাণ অডিট করবেন

অনুমানের বদলে ডেটা দিয়ে শুরু করুন। আপনার Novita ড্যাশবোর্ডে লগ ইন করুন এবং গত দুই থেকে তিন মাসের ব্যবহারের ইতিহাস (usage history) এক্সপোর্ট করুন। সেই ডেটাকে মডেল এবং অপারেশন টাইপ অনুযায়ী ভাগ করুন। আপনি জানতে চান কোন এন্ডপয়েন্টগুলো আপনার বাজেটের সিংহভাগ খরচ করছে এবং কোনগুলো প্রতি রিকোয়েস্টে সবচেয়ে বেশি টোকেন তৈরি করছে।

এই প্যাটার্নগুলো লক্ষ্য করুন:

  • কনসেনট্রেশন রিস্ক (Concentration risk)। যদি আপনার খরচের ৭০ শতাংশ একটি মডেলের মাধ্যমে হয় এবং সেই মডেলের দাম বেড়ে যায়, তবে আপনার করণীয় স্পষ্ট। যদি আপনার খরচ আটটি মডেলের মধ্যে ছড়িয়ে থাকে এবং তার মধ্যে তিনটি মডেলের দাম পরিবর্তিত হয়, তবে হিসাব করতে সময় বেশি লাগলেও ঝুঁকির বিষয়টি বাস্তব।
  • টোকেন ব্লোট (Token bloat)। আপনার প্রম্পটগুলো অপ্রয়োজনীয় কনটেক্সট দিয়ে বড় হয়ে যাচ্ছে কি না তা পরীক্ষা করুন। দীর্ঘ সিস্টেম প্রম্পট, বারবার ব্যবহৃত few-shot উদাহরণ এবং অতিরিক্ত XML ফরম্যাটিং—সবই ইনপুট খরচ বাড়িয়ে দেয়। প্রাইসিং আপডেট হলো অপ্রয়োজনীয় খরচ কমানোর একটি উপযুক্ত সুযোগ।
  • আউটপুট ইনএফিসিয়েন্সি (Output inefficiency)। যদি আপনার অ্যাপ্লিকেশন দীর্ঘ কমপ্লিশন রিকোয়েস্ট করে কিন্তু কেবল প্রথম কয়েকটি বাক্য ব্যবহার করে, তবে আপনি সেই টোকেনগুলোর জন্যও টাকা দিচ্ছেন যা আপনি ফেলে দিচ্ছেন। আপনার max_token লিমিট এবং stop sequences টিউন করুন।
  • অলস ব্যাকগ্রাউন্ড জব (Idle background jobs)। রিপোর্ট তৈরি করা বা ডকুমেন্ট এমবেড করার মতো একটি শিডিউল করা টাস্ক হয়তো প্রয়োজনের চেয়ে বেশি ঘনঘন চলছে। ক্রন শিডিউল (cron schedule) এবং ব্যাচ সাইজ যাচাই করে নিন।