StreamLake মাত্র তাদের LLM-এর দাম পরিবর্তন করেছে। আপনার আসলে কী করা উচিত তা এখানে দেওয়া হলো।
আপনি যদি StreamLake-এ ফিচার লঞ্চ করে থাকেন, তবে LLM মডেলের মূল্যের সাম্প্রতিক পরিবর্তনটি এমন কোনো ছোটখাটো বিষয় নয় যা আপনি এড়িয়ে যেতে পারেন। এটি একটি পরিচালনগত সংকেত। প্ল্যাটফর্ম যখন ইনফারেন্সের (inference) জন্য চার্জ আপডেট করে, তখন আপনি খেয়াল করুন বা না করুন, আপনার ইউনিট ইকোনমিক্স পরিবর্তিত হয়ে যায়। যে দলগুলো লাভজনক থাকে, তারা এই আপডেটগুলোকে কেবল মেনে নেওয়ার পরিবর্তে অডিট করার একটি সুযোগ হিসেবে দেখে।
StreamLake মডেলের দাম পরিবর্তন করেছে। এটাই মূল বিষয়। প্রতিটি এন্ডপয়েন্ট এবং টোকেন টায়ারের জন্য সঠিক রেট পরিবর্তনের বিবরণ নিচে দেওয়া ডেভেলপার ঘোষণায় দেওয়া হয়েছে। আপনার কাজ কেবল নতুন সংখ্যাগুলো দেখে এড়িয়ে যাওয়া নয়। বরং গত ছয় মাসে আপনার নেওয়া প্রতিটি প্রোডাক্ট সিদ্ধান্তের ওপর এই সংখ্যাগুলো কীভাবে প্রভাব ফেলছে তা বোঝা।
কেন দামের পরিবর্তন আপনার প্রত্যাশার চেয়ে বেশি আঘাত করতে পারে
বেশিরভাগ সফটওয়্যার ব্যবসা স্থায়ী খরচের ওপর ভিত্তি করে তৈরি হয়। আপনি সার্ভার, ডেটাবেস এবং ব্যান্ডউইথের জন্য অর্থ প্রদান করেন। এই বিলগুলো পূর্বাভাসযোগ্য। কিন্তু লার্জ ল্যাঙ্গুয়েজ মডেল (LLM) সেই মডেলটি ভেঙে দেয়। ইনফারেন্স হলো একটি পরিবর্তনশীল খরচ যা সরাসরি ব্যবহারকারীর আচরণের সাথে যুক্ত। একজন গ্রাহক যিনি আপনার অ্যাপে পঞ্চাশ পৃষ্ঠার একটি ডকুমেন্ট কপি-পেস্ট করেন, তার বিল একজন তিন শব্দের প্রশ্ন করা গ্রাহকের তুলনায় সম্পূর্ণ আলাদা হবে। যখন StreamLake তাদের রেট পরিবর্তন করে, তখন এই পরিবর্তনশীলতা আরও প্রকট হয়ে ওঠে।
মডেলের উচ্চ খরচ এমনভাবে প্রফিট মার্জিন কমিয়ে দেয় যা তাৎক্ষণিকভাবে বোঝা যায় না। আপনি হয়তো লঞ্চ করার সময় হিসাব করে দেখতে পারেন যে আপনার AI ফিচারটি বেশ লাভজনক। কিন্তু ছয় মাস পরে, একটি প্রাইসিং আপডেট এবং ব্যবহারের ব্যাপক বৃদ্ধির পর, একই ফিচার প্রতিটি কলের মাধ্যমে লোকসান করতে পারে। যে দলগুলো ফ্ল্যাট-রেট প্রাইসিং ব্যবহার করে, তাদের জন্য বিপদ সবচেয়ে বেশি। আপনি যদি ব্যবহারকারীদের মাসে $29 চার্জ করেন এবং আপনার ব্যাকএন্ড একটি মাত্র ভারী ইনফারেন্স কলের জন্য $8 খরচ করে ফেলে, তবে আপনার কোনো বিজনেস মডেল নেই। আপনি আসলে একটি ভর্তুকি দিচ্ছেন।
এই সমস্যাটি ইনপুট টোকেন, আউটপুট টোকেন নাকি নির্দিষ্ট মডেল ফ্যামিলির ওপর নির্ভর করছে তার ওপরও নির্ভর করে। কিছু অ্যাপ্লিকেশন ইনপুট-নির্ভর হয়। যেমন কোড রিভিউ টুলস, যা পুরো রিপোজিটরিকে কনটেক্সট হিসেবে পাঠায়। আবার কিছু অ্যাপ্লিকেশন আউটপুট-নির্ভর, যেমন লং-ফর্ম রাইটিং অ্যাসিস্ট্যান্ট যা ব্যবহারকারীকে হাজার হাজার টোকেন স্ট্রিমিং করে দেয়। যে দামের পরিবর্তন কেবল আউটপুট টোকেনকে প্রভাবিত করে, তা কোড রিভিউয়ারের চেয়ে রাইটারকে বেশি ক্ষতিগ্রস্ত করবে, এবং এর উল্টোটাও সত্য। ক্ষতির পরিমাণ বোঝার আগে আপনার নিজস্ব টোকেন প্রোফাইল জানা প্রয়োজন।
একটি প্রাইস-অ্যাওয়ার (Price-Aware) ওয়ার্কফ্লো তৈরি করুন
মাসিক বিল দেখে চমকে যাওয়ার জন্য অপেক্ষা করা একটি খারাপ কৌশল। যে দলগুলো মূল্যের অস্থিরতা কাটিয়ে টিকে থাকে, তারা তাদের দৈনন্দিন অভ্যাসের মধ্যেই মনিটরিং অন্তর্ভুক্ত করে নেয়। স্প্রেডশিটে ডুবে না গিয়ে এটি কীভাবে করবেন তা নিচে দেওয়া হলো।
প্রথমত, প্রতিটি API কলকে ফিচার এবং মডেল অনুযায়ী ট্যাগ করুন। আপনার অ্যাপে যদি একটি সামারাইজার (summarizer), একটি চ্যাটবট এবং একটি ট্রান্সলেশন লেয়ার থাকে, তবে আপনার লগিং পাইপলাইনে খরচগুলোকে আলাদা করুন। যখন StreamLake তাদের রেট আপডেট করবে, তখন আপনি এমন একটি রিপোর্ট তৈরি করতে সক্ষম হবেন যা বলবে, "আমাদের ইনফারেন্স খরচের ৭০ শতাংশই সামারাইজারের জন্য।" এই নির্ভুলতা আপনাকে বলে দেবে কোথায় প্রথমে অপ্টিমাইজ করতে হবে।
দ্বিতীয়ত, বাজেট অ্যালার্ট সেট করুন। StreamLake সহ বেশিরভাগ প্ল্যাটফর্ম আপনাকে খরচের সীমা (spending thresholds) নির্ধারণ করতে দেয়। এগুলো বেশ কঠোরভাবে সেট করুন। যদি আপনার দৈনিক ইনফারেন্স বিল বেসলাইনের চেয়ে ৩০ শতাংশ বেড়ে যায়, তবে আপনি কয়েক ঘণ্টার মধ্যে একটি Slack মেসেজ বা ইমেল পেতে চান, ৩০ দিন পর একটি আকস্মিক ইনভয়েস নয়। কিছু দল আরও এক ধাপ এগিয়ে অ্যাপ্লিকেশন লেয়ারে কঠোর খরচ সীমা (hard cost caps) প্রয়োগ করে। যদি কোনো ব্যবহারকারীর অনুরোধ পূর্বনির্ধারিত অভ্যন্তরীণ বাজেট অতিক্রম করে, তবে অ্যাপটি একটি হালকা মডেলে রাউট করে অথবা একটি ক্যাশড রেজাল্ট (cached result) প্রদান করে।
তৃতীয়ত, আপনার প্রম্পটগুলো ছোট করুন। প্রাইসিং আপডেট হলো আপনার কনটেক্সট উইন্ডো অডিট করার একটি চমৎকার সুযোগ। ডেভেলপাররা প্রায়ই উদাহরণ, নির্দেশনা এবং ফরম্যাটিং নিয়ম যোগ করার মাধ্যমে সময়ের সাথে সাথে প্রম্পটগুলোকে বড় করে ফেলেন। প্রতিটি অতিরিক্ত বাক্য প্রতিটি কলের জন্য বাড়তি খরচ যোগ করে। আপনি যখন লক্ষ লক্ষ রিকোয়েস্ট প্রসেস করছেন, তখন একটি ২,০০০-টোকেন বিশিষ্ট প্রম্পটকে ১,২০০ টোকেনে নামিয়ে আনা কেবল একটি মাইক্রো-অপ্টিমাইজেশন নয়; এটি টিকে থাকার লড়াই।
চতুর্থত, একটি ফলব্যাক ল্যাডার (fallback ladder) বা বিকল্প ব্যবস্থা বজায় রাখুন। ফ্ল্যাগশিপ অপশনটি যদি খুব ব্যয়বহুল হয়ে যায়, তবে কোন কাজগুলো একটি ছোট বা পুরনো মডেল দিয়ে সম্পন্ন করা সম্ভব, তা আপনার আগে থেকেই জানা থাকা উচিত। সাধারণ ক্লাসিফিকেশন, ইনটেন্ট ডিটেকশন এবং সেন্টিমেন্ট স্কোরিংয়ের জন্য সাধারণত ক্যাটালগের সবচেয়ে বড় মডেলের প্রয়োজন হয় না। একটি সস্তা বিকল্প প্রস্তুত রাখুন যাতে দামের পরিবর্তন হলে আপনি তাৎক্ষণিকভাবে ট্রাফিক পরিবর্তন করতে পারেন।
কখন অপ্টিমাইজ করতে হবে এবং কখন রিডিজাইন করতে হবে তা জানুন
প্রতিটি মূল্যবৃদ্ধি মানেই কেবল খরচ কমানো নয়। মাঝে মাঝে সঠিক সমাধান হলো আপনার পণ্যটি পরিবর্তন করা। যদি কোনো মূল ফিচার এমন একটি endpoint-এর ওপর নির্ভর করে যার দাম দ্বিগুণ হয়ে গেছে, তবে আরও কঠিন প্রশ্ন করুন। আপনি কি overhead কমাতে রিকোয়েস্টগুলো batch করতে পারেন? আপনি কি সবচেয়ে সাধারণ ৫০টি ইউজার কোয়েরি cache করে রাখতে পারেন এবং মডেলের পরিবর্তে ডাটাবেস থেকে সেগুলো প্রদান করতে পারেন? আপনি কি ভারী pre-processing কাজগুলো client-side embeddings-এ সরিয়ে নিতে পারেন যাতে API-তে কম টেক্সট পাঠাতে হয়?
এক্ষেত্রে hybrid architectures আপনার বন্ধু হতে পারে। অনেক টিম একটি সস্তা classifier model ব্যবহার করে এটি নির্ধারণ করে যে ইউজারের কোয়েরিটির জন্য দামী reasoning engine-এর প্রয়োজন আছে কি না। যদি প্রশ্নটি খুব সাধারণ হয়, তবে একটি lightweight model বা rules-based system দিয়ে সেটির উত্তর দিন। দামী কলগুলো শুধুমাত্র কঠিন সমস্যাগুলোর জন্য সংরক্ষণ করুন। এটি আপনার পণ্যের গুণমান বজায় রেখেই আপনার খরচের গ্রাফ নিয়ন্ত্রণে রাখবে।
আপনার পক্ষ থেকেও প্রাইসিং স্ট্র্যাটেজির বিষয়টি বিবেচ্য। যদি inference খরচ বাড়তে থাকে, তবে usage-based tiers-এর মাধ্যমে সেই খরচের কিছুটা ব্যবহারকারীদের ওপর চাপিয়ে দেওয়া ব্যবহারকারী-বিরোধী নয়। এটি একটি সৎ পদ্ধতি। যেসব গ্রাহক প্রচুর পরিমাণে token ব্যবহার করেন, তারা তাদের ব্যবহৃত ইনফ্রাস্ট্রাকচারের জন্য অর্থ প্রদান করেন। যাদের প্রয়োজন কম, তারা সাশ্রয়ী প্ল্যানে থাকতে পারেন। এর বিকল্প হলো এমন একটি moat-এর পেছনে ছোটা যার কোনো অস্তিত্ব নেই, আর এর ফলে আপনার প্রফিট মার্জিন শূন্যে নেমে আসতে পারে।
বিস্তারিত কোথায় পাবেন
সঠিক নতুন রেট, কার্যকর হওয়ার তারিখ এবং প্রভাবিত মডেল টিয়ারগুলো অফিসিয়াল Stream-এ নথিভুক্ত করা হয়েছে