𝗠𝘆 𝗔𝗜 𝗜𝗻𝘁𝗲𝗴𝗿𝗮𝘁𝗶𝗼𝗻 𝗖𝗼𝘀𝘁 𝗧𝗼𝗼 𝗠𝘂𝗰𝗵 𝗨𝗻𝘁𝗶𝗹 𝗜 𝗖𝗵𝗮𝗻𝗴𝗲𝗱 𝗠𝘆 𝗔𝗽𝗽𝗿𝗼𝗮𝗰𝗵
বিল আসার আগ পর্যন্ত আমি আমার AI সামারাইজেশন (সারসংক্ষেপ করার) ফিচারটি খুব পছন্দ করতাম।
গত মাসে, আমি বড় বড় আর্টিকেল বা নিবন্ধের সারসংক্ষেপ করার জন্য একটি টুল তৈরি করেছিলাম। আমি একটি সাধারণ প্রম্পটসহ GPT-4 ব্যবহার করেছিলাম। এটি নিখুঁতভাবে কাজ করছিল। ব্যবহারকারীরা এর মান খুব পছন্দ করেছিলেন।
তারপর বিল এল। এক মাসের ব্যবহারের জন্য আমার খরচ হয়েছিল ১,২০০ ডলারের বেশি। আমাকে হয় এটি ঠিক করতে হতো, নয়তো ফিচারটি বন্ধ করে দিতে হতো।
আমি এটি ঠিক করার জন্য বেশ কিছু জিনিস চেষ্টা করেছিলাম:
- আমি GPT-3.5-turbo-তে পরিবর্তন করলাম। খরচ কমেছিল, কিন্তু মান কমে গেল। সামারিগুলো অস্পষ্ট হয়ে পড়ল।
- আমি প্রম্পট ইঞ্জিনিয়ারিং চেষ্টা করেছিলাম। "be specific" যোগ করা খুব একটা কাজে আসেনি।
- আমি extractive libraries ব্যবহার করে ইনপুট সাইজ কমানোর চেষ্টা করেছিলাম। এটি কিছুটা সাহায্য করলেও খরচ অনেক বেশিই ছিল।
আমি বুঝতে পারলাম যে আমি একটি ছোট পেরেক ঠোকার জন্য বড় হাতুড়ি ব্যবহার করছিলাম।
সমাধান হলো একটি দুই-ধাপের পাইপলাইন। সেরা ফলাফল পেতে আপনি দুটি ভিন্ন পদ্ধতিকে একত্রিত করতে পারেন।
ধাপ ১: এক্সট্রাক্টিভ ফেজ (The Extractive Phase) আর্টিকেল থেকে সেরা ৫ থেকে ১০টি বাক্য বেছে নিতে TextRank-এর মতো একটি সস্তা ও দ্রুত টুল ব্যবহার করুন। এটি অতিরিক্ত টেক্সটের ৯০% কমিয়ে দেয়।
ধাপ ২: অ্যাবস্ট্রাক্টিভ ফেজ (The Abstractive Phase) শুধুমাত্র সেই কয়েকটি বাক্য GPT-3.5-turbo-এর মতো একটি ছোট ও সস্তা মডেলে পাঠান। সেগুলোকে একটি পরিষ্কার ৩-বুলেট সামারিতে পুনরায় লিখতে বলুন।
এই পদ্ধতিটি আমার খরচ ৮০% কমিয়ে দিয়েছে। এর মান GPT-4-এর কাছাকাছি ছিল কারণ মডেলটি শুধুমাত্র সবচেয়ে গুরুত্বপূর্ণ ডেটা প্রসেস করেছিল।
আপনার AI তৈরির জন্য অন্যান্য টিপস:
- ক্যাশিং (caching) ব্যবহার করুন। আর্টিকেলের হ্যাশ (hash) অনুযায়ী ফলাফল সংরক্ষণ করুন যাতে একই সামারির জন্য আপনাকে দুবার টাকা দিতে না হয়।
- লেয়ার (layers) ব্যবহার করুন। জটিল কাজগুলোকে ছোট এবং সস্তা সাব-টাস্কে ভাগ করে ফেলুন।
- একটি ফলব্যাক (fallback) সেট করুন। যদি কোনো আর্টিকেল খুব বেশি জটিল হয়, তবে শুধুমাত্র সেই নির্দিষ্ট ক্ষেত্রে GPT-4-এর মতো একটি উচ্চ-মানের মডেল ব্যবহার করুন।
দামী মডেলগুলোতে বিশাল টেক্সট ব্লক পাঠানো বন্ধ করুন। আগে ডেটা ছোট করে নিন।
আপনি আপনার প্রোডাক্টে AI-এর মান এবং খরচের মধ্যে ভারসাম্য কীভাবে বজায় রাখেন? আপনি কি বিভিন্ন কাজের জন্য আলাদা আলাদা মডেল ব্যবহার করেন?