توکنهای تفکر باعث ایجاد هزینههای پنهان استنتاج میشوند
توکنهای تفکر یک مالیات پنهان برای توسعهدهندگان هوش مصنوعی ایجاد میکنند.
OpenAI، Anthropic و Google برای توکنهای تفکر با نرخ توکنهای خروجی (output rates) هزینه دریافت میکنند. این امر هزینهها را در خط لولههای عاملمحور (agentic pipelines) بین ۵ تا ۱۰ برابر افزایش میدهد. اکثر توسعهدهندگان تصور میکنند این توکنها رایگان یا ارزان هستند، اما اینطور نیست.
خط لولههای عاملمحور این مشکل را بدتر میکنند. عاملها (Agents) اغلب مراحل شکستخورده را دوباره امتحان میکنند. هر تلاش مجدد، صدها توکن تفکر جدید تولید میکند. یک چرخه واحد از درک، استدلال، عمل و مشاهده میتواند منجر به چندین تلاش مجدد شود.
محاسبات ریاضی برای حاشیه سود شما خطرناک است: • یک وظیفه با ۳ تا ۵ تلاش مجدد، بین ۰.۱۰ تا ۰.۵۰ دلار هزینه توکنهای پنهان دارد. • یک خط لوله با ۱۰,۰۰۰ وظیفه در روز، بین ۵,۰۰۰ تا ۲۵,۰۰۰ دلار هزینه اضافی تحمیل میکند. • یک استارتاپ که ۱۰,۰۰۰ دلار برای APIها هزینه میکند، ممکن است تنها ۵,۰۰۰ دلار بابت توکنهای تفکر بپردازد.
یک جنگ قیمتی عظیم در حال آغاز است. Google قصد دارد قیمت مدلهای استدلالی Gemini را تا ۸۰٪ کاهش دهد. این موضوع نشاندهنده شکاف بین غولهای فناوری و استارتاپها است. Google میتواند از ضرر در بخش توکنها چشمپوشی کند، زیرا میلیاردها دلار برای محاسبات (compute) هزینه میکند، اما استارتاپها نمیتوانند.
این عدم تقارن به نفع ارائهدهندگان بزرگ است. شرکتهای کوچکتر برای جذب این هزینهها با مشکل مواجه هستند. حتی Microsoft نیز در حال تغییر به سمت قیمتگذاری مبتنی بر میزان استفاده است و برای مدیریت هزینهها، به دنبال جایگزینهای ارزانتر مانند DeepSeek V4 میگردد.
منتظر دو اتفاق باشید: • قیمتگذاری رسمی Gemini توسط Google در سهماهه سوم سال ۲۰۲۶. • واکنش OpenAI به قیمتگذاری پلکانی برای توکنهای تفکر.
همین حالا میزان استفاده از توکنهای خود را مدیریت کنید، وگرنه شاهد از بین رفتن حاشیه سود خود باشید.
منبع: https://pub.towardsai.net
انجمن یادگیری اختیاری: https://t.me/GyaanSetuAi