বাজেট না বাড়িয়ে কীভাবে LLM ব্যবহার করবেন
একটি AI ডেমো তৈরি করা সহজ। আপনি একটি API key পাবেন, একটি প্রম্পট লিখবেন এবং এটি কাজ করবে।
কিন্তু এটি আসল ব্যবহারকারীদের কাছে পৌঁছে দেওয়া বা শিপ করা সম্পূর্ণ ভিন্ন বিষয়। ট্রাফিক আসার সাথে সাথে আপনার খরচ বেড়ে যায়। ল্যাটেন্সি (latency) বৃদ্ধি পায়। আপনার ফিন্যান্স টিম প্রশ্ন করতে শুরু করে।
একটি ডেমো এবং একটি আসল পণ্যের মধ্যে পার্থক্য হলো ইঞ্জিনিয়ারিং। আপনাকে খরচ এবং গতি নিয়ন্ত্রণ করতে হবে।
টাকা বাঁচাতে আপনার আউটপুট নিয়ন্ত্রণ করুন
বেশিরভাগ API টোকেন অনুযায়ী চার্জ করে। আপনি যা পাঠান এবং তারা যা ফেরত পাঠায়, উভয়ের জন্যই চার্জ নেওয়া হয়। ইনপুট টোকেনের চেয়ে আউটপুট টোকেনের খরচ বেশি।
শুধু আপনার প্রম্পট ছোট করলেই হবে না। উত্তরের দিকে মনোযোগ দিন। • JSON চান। • এক বাক্যে উত্তর চান। • একটি সর্বোচ্চ টোকেন লিমিট (max token limit) সেট করুন। • মডেলকে সংক্ষেপে উত্তর দিতে বলুন।
ছোট উত্তরগুলো সাশ্রয়ী এবং দ্রুততর।
কলের সংখ্যা কমিয়ে আনুন
সবচেয়ে সস্তা কল হলো সেটি, যা আপনি কখনোই করেন না।
- ক্যাশিং (caching) ব্যবহার করুন। অনেক ব্যবহারকারী একই প্রশ্ন করেন। একটি ক্যাশ একটি ধীরগতির API কলকে দ্রুত অনুসন্ধানে (lookup) পরিণত করে।
- একটি রাউটার ব্যবহার করুন। প্রতিটি কাজের জন্য আপনার বিশাল কোনো মডেলের প্রয়োজন নেই। সহজ কাজের জন্য ছোট এবং সস্তা মডেল ব্যবহার করুন। কঠিন কাজের জন্য কেবল দামী মডেলটি ব্যবহার করুন।
ব্যবহারকারীর অভিজ্ঞতা উন্নত করুন
মাঝে মাঝে আপনি মডেলটিকে দ্রুত করতে পারবেন না। তবে আপনি এটিকে দ্রুততর হিসেবে অনুভব করাতে পারেন।
- রেসপন্স স্ট্রিম (stream) করুন। টেক্সট জেনারেট হওয়ার সাথে সাথে তা দেখান। ব্যবহারকারীরা সাথে সাথে পড়া শুরু করতে পারেন। এতে অপেক্ষার সময় কম মনে হয়।
- প্রগ্রেস দেখান। যদি কাজটি ধাপে ধাপে সম্পন্ন হয়, তবে ব্যবহারকারীকে তা জানান। একটি খালি লোডিং স্পিনারের পরিবর্তে "Searching documents..." এর মতো মেসেজ ব্যবহার করুন।
ধীরগতির রিকোয়েস্টগুলো পরিচালনা করুন
কয়েকটি অত্যন্ত ধীরগতির রিকোয়েস্ট আপনার পণ্যটি নষ্ট করে দিতে পারে। সেগুলোকে আটকে থাকতে দেবেন না।
- কঠোর টাইমআউট (timeout) সেট করুন। একটি রিকোয়েস্ট যদি অনেক বেশি সময় নেয়, তবে কী হবে তা আগে থেকেই ঠিক করে রাখুন।
- লিমিটসহ রিট্রাই (retry) ব্যবহার করুন। চিরকাল রিট্রাই করতে থাকবেন না।
- সার্কিট ব্রেকার (circuit breaker) ব্যবহার করুন। যদি প্রোভাইডার ডাউন থাকে, তবে রিকোয়েস্ট পাঠানো বন্ধ করুন এবং একটি বিকল্প (fallback) দেখান।
আপনার ডেটা ট্র্যাক করুন
আপনি যা পরিমাপ করতে পারেন না, তা ঠিক করতে পারবেন না। প্রতিটি রিকোয়েস্টের জন্য এই তিনটি জিনিস লগ (log) করুন: • ইনপুট টোকেন • আউটপুট টোকেন • মোট ল্যাটেন্সি (latency)
ফিচার অনুযায়ী এগুলো ট্র্যাক করুন। আপনি সম্ভবত এমন একটি নির্দিষ্ট ফিচার খুঁজে পাবেন যা আপনার খরচের সিংহভাগ ঘটাচ্ছে।
মডেলটিকে জাদুর মতো দেখা বন্ধ করুন। এটিকে একটি ধীরগতির, দামী ডিপেন্ডেন্সি (dependency) হিসেবে বিবেচনা করুন যা আপনাকে পরিচালনা করতে হবে।