چگونه از تخلیه کیف پولم توسط قابلیت هوش مصنوعی جلوگیری کردم
من یک چتبات هوش مصنوعی به پروژه جانبیام اضافه کردم. فکر میکردم کار سادهای باشد.
اشتباه میکردم.
بعد از دو هفته، صورتحساب OpenAI من برای تنها یک هفته به ۸۷ دلار رسید. من فقط ۵۰ کاربر داشتم. داشتم برای یک پروژه سرگرمی، پول از دست میدادم.
چندین راه برای کنترل هزینهها امتحان کردم. برخی شکست خوردند.
- محدودسازی نرخ (Rate limiting): تعداد درخواستها را محدود کردم. کاربران از این کار متنفر شدند و پروژه را ترک کردند.
- کوتاه کردن کانتکست (Truncating context): دادهها را برای صرفهجویی در توکنها حذف کردم. پاسخها اشتباه شدند.
- کش کردن ساده (Simple caching): سوالات دقیق را کش کردم. کاربران به ندرت یک سوال را دقیقاً دو بار میپرسند، بنابراین این روش شکست خورد.
متوجه شدم مشکل، کارهای تکراری است. LLM داشت ایدههای مشابه را بارها و بارها پردازش میکرد.
آن را با سه مرحله حل کردم:
۱. کش معنایی (Semantic Caching) دیگر به دنبال تطابق دقیق کلمات نبودم. شروع کردم به استفاده از embeddingها برای پیدا کردن سوالات مشابه. اگر سوال جدید ۹۲٪ با سوال قبلی مشابه باشد، پاسخ کششده را ارائه میدهم. این نرخ موفقیت به ۴۰٪ رسید و هزینههایم را نصف کرد.
۲. مسیریابی هوشمند مدل (Smart Model Routing) دیگر برای همه کارها از GPT-4 استفاده نکردم. یک روتر (router) ساختم. اگر سوال کوتاه و ساده باشد، از یک ارائهدهنده ارزان استفاده میکنم. اگر سوال پیچیده باشد، آن را به یک مدل پرمیوم میفرستم. اکثر سوالات به یک مدل سطح بالا نیاز ندارند.
۳. کوتاهسازی پرامپت (Prompt Trimming) مقدار کانتکستی که به مدل میفرستادم را کاهش دادم. با انتخاب فقط بخشهای مرتبط داده، اندازه کانتکست را ۶۰٪ کاهش دادم.
نتایج:
- هزینههای هفتگی از ۴۰ دلار به ۷ دلار کاهش یافت.
- زمان پاسخدهی به دلیل وجود کش سریعتر شد.
- رضایت کاربران بالا باقی ماند.
درسهای آموخته شده:
- از روز اول یک کش معنایی بسازید.
- بلافاصله از هشدارهای هزینه در حساب ابری خود استفاده کنید.
- برای کارهای ساده مثل پاسخ به سوالات متداول (FAQ) از مدلهای گرانقیمت استفاده نکنید.
اضافه کردن هوش مصنوعی فقط مربوط به پرامپتها نیست، بلکه بحث اقتصادی است. هر فراخوانی API هزینه واقعی دارد. اگر برای کارایی طراحی نکنید، پروژهتان شکست خواهد خورد.
شما چگونه هزینههای هوش مصنوعی خود را مدیریت میکنید؟
منبع: https://dev.to/__c1b9e06dc90a7e0a676b/how-i-stopped-my-ai-feature-from-draining-my-wallet-20il