𝗛𝗼𝘄 𝗜 𝗦𝘁𝗼𝗽𝗽𝗲𝗱 𝗠𝘆 𝗔𝗜 𝗙𝗲𝗮𝘁𝘂𝗿𝗲 𝗳𝗿𝗼𝗺 𝗗𝗿𝗮𝗶𝗻𝗶𝗻𝗴 𝗠𝘆 𝗪𝗮𝗹𝗹𝗲𝘁
আমি আমার সাইড প্রজেক্টে একটি AI চ্যাটবট যোগ করেছি। আমি ভেবেছিলাম এটি খুব সহজ হবে।
আমি ভুল ছিলাম।
দুই সপ্তাহ পর, মাত্র এক সপ্তাহের জন্য আমার OpenAI বিল ৮৭ ডলারে পৌঁছে গেল। আমার মাত্র ৫০ জন ব্যবহারকারী ছিল। একটি শখের প্রজেক্টে আমি টাকা হারাচ্ছিলাম।
খরচ কমানোর জন্য আমি বেশ কিছু উপায় চেষ্টা করেছি। কিছু উপায় ব্যর্থ হয়েছে।
- রেট লিমিটিং (Rate limiting): আমি রিকোয়েস্টের সংখ্যা সীমিত করে দিয়েছিলাম। ব্যবহারকারীরা এটি পছন্দ করেনি এবং চলে গেছে।
- কনটেক্সট ছোট করা (Truncating context): টোকেন বাঁচাতে আমি ডেটা কমিয়ে দিয়েছিলাম। ফলে উত্তরগুলো ভুল হতে শুরু করল।
- সাধারণ ক্যাশিং (Simple caching): আমি হুবহু একই প্রশ্নগুলো ক্যাশ করেছিলাম। ব্যবহারকারীরা খুব কমই হুবহু একই প্রশ্ন দুবার করে, তাই এটি কাজে আসেনি।
আমি বুঝতে পারলাম সমস্যাটি ছিল অতিরিক্ত বা অপ্রয়োজনীয় কাজের (redundant work)। LLM বারবার একই ধারণাগুলো প্রসেস করছিল।
আমি তিনটি ধাপে এটি সমাধান করেছি:
সিম্যান্টিক ক্যাশিং (Semantic Caching) আমি হুবহু শব্দের মিল খোঁজা বন্ধ করে দিলাম। আমি একই ধরণের প্রশ্ন খুঁজে পেতে এমবেডিং (embeddings) ব্যবহার করা শুরু করলাম। যদি একটি নতুন প্রশ্ন পুরনো কোনো প্রশ্নের সাথে ৯২% মিল থাকে, তবে আমি ক্যাশ করা উত্তরটি দিয়ে দিই। এর হিট রেট (hit rate) ৪০% এ পৌঁছেছে এবং আমার খরচ অর্ধেক কমিয়ে দিয়েছে।
স্মার্ট মডেল রাউটিং (Smart Model Routing) আমি সবকিছুর জন্য GPT-4 ব্যবহার করা বন্ধ করে দিলাম। আমি একটি রাউটার তৈরি করলাম। যদি প্রশ্নটি ছোট এবং সহজ হয়, তবে আমি একটি সস্তা প্রোভাইডার ব্যবহার করি। যদি প্রশ্নটি জটিল হয়, তবে আমি সেটি একটি প্রিমিয়াম মডেলে পাঠাই। বেশিরভাগ প্রশ্নের জন্য হাই-এন্ড মডেলের প্রয়োজন হয় না।
প্রম্পট ট্রিমিং (Prompt Trimming) আমি মডেলের কাছে পাঠানো কনটেক্সটের পরিমাণ কমিয়ে দিয়েছি। শুধুমাত্র সবচেয়ে প্রাসঙ্গিক ডেটা চাঙ্কগুলো (data chunks) বেছে নেওয়ার মাধ্যমে আমি কনটেক্সটের আকার ৬০% কমিয়েছি।
ফলাফল:
- সাপ্তাহিক খরচ ৪০ ডলার থেকে কমে ৭ ডলারে নেমে এসেছে।
- ক্যাশিংয়ের কারণে রেসপন্স টাইম আরও দ্রুত হয়েছে।
- ব্যবহারকারীদের সন্তুষ্টি বজায় রয়েছে।
শিক্ষণীয় বিষয়:
- প্রথম দিন থেকেই একটি সিম্যান্টিক ক্যাশ তৈরি করুন।
- আপনার ক্লাউড অ্যাকাউন্টে অবিলম্বে কস্ট অ্যালার্ট (cost alerts) সেট করুন।
- সাধারণ FAQ কাজের জন্য দামী মডেল ব্যবহার করবেন না।
AI যোগ করা মানে শুধু প্রম্পট নিয়ে কাজ করা নয়। এটি অর্থনীতির বিষয়। প্রতিটি API কল মানেই আসল টাকা খরচ হওয়া। আপনি যদি দক্ষতার কথা মাথায় রেখে ডিজাইন না করেন, তবে আপনার প্রজেক্ট ব্যর্থ হবে।
আপনি কীভাবে আপনার AI খরচ নিয়ন্ত্রণ করেন?
Source: https://dev.to/__c1b9e06dc90a7e0a676b/how-i-stopped-my-ai-feature-from-draining-my-wallet-20il