سقوط ۱۰ برابری قیمت، یک شرط‌بندی بر روی معماری است

مهندسان ساعت‌ها وقت صرف بازنویسی پرامپت‌ها می‌کنند تا چند توکن ذخیره کنند. این تلاش اغلب هدر می‌رود.

توکن‌ها رایگان نیستند، اما هزینه هوش مصنوعی با سرعت بسیار زیادی در حال کاهش است. هزینه برای سطح مشخصی از عملکرد هوش مصنوعی، سالانه حدود ۱۰ برابر کاهش می‌یابد. به این پدیده LLMflation گفته می‌شود.

داده‌ها نشان می‌دهند که این روند واقعی است:

  • کیفیت در سطح GPT-3 در سال ۲۰۲۱، هر میلیون توکن ۶۰ دلار هزینه داشت.
  • اکنون با استفاده از Llama 3.2 3B، این هزینه حدود ۰.۰۶ دلار است.
  • این یعنی کاهش ۱۰۰۰ برابری در عرض سه سال.
  • هزینه‌های کیفیت در سطح GPT-3.5 تنها در ۱۸ ماه، ۲۸۰ برابر کاهش یافته است.

مدل‌های پیشرو (frontier models) گران باقی می‌مانند. اما مدل‌هایی که برای کارهای استاندارد استفاده می‌کنید، قیمتشان در حال سقوط است. اگر برای قیمت‌های امروز بهینه‌سازی کنید، در واقع دارید برای عددی بهینه‌سازی می‌کنید که تا چند ماه دیگر از بین می‌رود.

روی ترفندهای پرامپت تمرکز نکنید. روی معماری تمرکز کنید.

برای پیروزی، این سه قانون را دنبال کنید:

• با مدل مانند یک مؤلفه (component) برخورد کنید. از یک رابط (interface) واحد برای ورودی‌ها و خروجی‌ها استفاده کنید. مدل‌های خاص را در اپلیکیشن خود هاردکد نکنید. این کار به شما اجازه می‌دهد با یک تغییر ساده در تنظیمات (config)، مدل‌ها را جایگزین کنید.

• ابتدا یک چارچوب ارزیابی (evaluation harness) بسازید. شما به یک مجموعه تست نیاز دارید تا ثابت کنید آیا یک مدل جدید و ارزان‌تر به خوبی مدل قدیمی عمل می‌کند یا خیر. بدون تست، به دلیل ترس از خراب شدن سیستم، درگیر مدل‌های گران‌قیمت باقی خواهید ماند.

• روی چیزهایی سرمایه‌گذاری کنید که ارزان نمی‌شوند. کیفیت داده‌ها، سیستم‌های بازیابی (retrieval systems)، حفاظ‌ها (guardrails) و تجربه کاربری شما، قیمتشان سالانه ۱۰ برابر کاهش نمی‌یابد؛ فقط قیمت مدل کاهش می‌یابد.

از فین‌تیونینگ (fine-tuning) برای توانمندی‌های خام دست بردارید. فین‌تیونینگ یک شرط‌بندی علیه روند بازار است. شما داده‌ها و زیرساخت خود را به یک مدل خاص محدود می‌کنید. وقتی یک مدل پایه جدید از راه برسد، مدل فین‌تیون شده شما به یک اثر باستانی و گران‌قیمت تبدیل می‌شود. فقط برای چیزهایی که ثابت می‌مانند، مانند لحن برند خاص خود یا فرمت‌های داده منحصربه‌فرد، فین‌تیونینگ انجام دهید.

استراتژی برنده، ساخت سیستمی است که جایگزینی مدل‌ها را بسیار ساده کند. شمارش توکن‌ها را متوقف کنید. محصول خود را طوری طراحی کنید که با منحنی نزولی قیمت‌ها همراه شود.

Source: https://dev.to/aiexplore369zoho/the-10x-a-year-price-collapse-is-an-architecture-bet-not-a-prompt-trick-49df

Optional learning community: https://t.me/GyaanSetuAi