مجموعه‌ی API هوش مصنوعی که استارتاپ مرا نجات داد

شش ماه پیش، با صورت‌حساب ماهانه‌ی ۵۰,۰۰۰ دلاری از یک ارائه‌دهنده‌ی LLM مواجه شدم. استارتاپ من در بن‌بست گیر کرده بود. ما بیش از حد به یک فروشنده وابسته بودیم.

متوجه شدم که باید با زیرساخت هوش مصنوعی مانند یک زیرساخت واقعی رفتار کنم. دیگر با هوش مصنوعی مثل یک اسباب‌بازی برخورد نکردم و آن را به عنوان یک هزینه اصلی کسب‌وکار در نظر گرفتم.

بیشتر راهنماهای هوش مصنوعی مقیاس‌پذیری را نادیده می‌گیرند. آن‌ها دموها را به شما نشان می‌دهند اما صورت‌حساب‌های واقعی را نادیده می‌گیرند. من دو سال است که ویژگی‌های هوش مصنوعی را مدیریت می‌کنم. دیده‌ام که وقتی مقیاس کار به صدها هزار کاربر می‌رسد، چه اتفاقی می‌افتد.

اگر از روز اول ارائه‌دهنده‌ی اشتباهی را انتخاب کنید، ممکن است از یک لانچ ویروسی (viral launch) جان سالم به در نبرید.

هدف ساده است. شما به سه چیز نیاز دارید:

  • هزینه‌های قابل پیش‌بینی به ازای هر توکن.
  • قابلیت تعویض فوری مدل‌ها.
  • سیستم‌های اعتباری که منقضی نمی‌شوند.

من در ابتدا مرتکب اشتباهی شدم. مستقیماً با چندین ارائه‌دهنده ادغام شدم. هر کدام SDK و جریان‌های auth متفاوتی داشتند. اگر می‌خواستم مدل جدیدی را تست کنم، باید دوباره ثبت‌نام می‌کردم. اگر می‌خواستم تغییر وضعیت دهم، باید کدم را بازنویسی می‌کردم.

حالا از یک unified gateway استفاده می‌کنم. این کار همه چیز را تغییر می‌دهد.

مقایسه‌ی استراتژی‌ها:

ادغام مستقیم در مقابل Unified Gateway

  • تعویض ارائه‌دهنده: بازنویسی کد در مقابل تغییر یک string
  • پرداخت: اصطکاک منطقه‌ای در مقابل کارت‌های استاندارد
  • تست: فرآیند کامل onboarding در مقابل دسترسی با یک کلید
  • پایداری (Uptime): نقطه شکست واحد در مقابل automatic failover

یک unified gateway به شما اجازه می‌دهد وظایف را بر اساس نیاز مسیریابی (route) کنید. شما برای همه کارها به GPT-4o نیاز ندارید.

منطق مسیریابی فعلی من:

  • خلاصه‌سازی و استخراج: استفاده از ارزان‌ترین مدل.
  • چت ساده: استفاده از یک مدل سطح متوسط.
  • استدلال پیچیده: استفاده از یک مدل پرمیوم.

بیشتر ترافیک ما روی ارزان‌ترین tier اجرا می‌شود. این کار هزینه‌های ما را پایین نگه می‌دارد و در عین حال کیفیت را حفظ می‌کند. ما مدل‌های پرمیوم را فقط برای ۵٪ از وظایف خود رزرو می‌کنیم.

در مرحله‌ی رشد فعلی، این مسیریابی حدود ۵۰۰,۰۰۰ دلار از annual runway ما را ذخیره می‌کند. این فقط یک انتخاب ابزار نیست؛ این یک انتخاب برای بقاست.

از خرید ویژگی‌های enterprise در مراحل خیلی زود خودداری کنید. اگر هنوز مشتریان enterprise ندارید، برای SLAها یا ظرفیت اختصاصی هزینه نکنید. آن پول را ذخیره کنید. ابتدا برای انعطاف‌پذیری ساخت‌وساز کنید.

وقتی مقیاس کار را بالا می‌برید، الگوی gateway همچنان کار می‌کند. شما فقط API key و شرایط تجاری خود را تغییر می‌دهید. کد شما ثابت می‌ماند.

از روز اول router خود را بسازید. base URL خود را استاندارد کنید. نام مدل‌ها را بخشی از configuration خود قرار دهید، نه بخشی از کدتان.

Source: https://dev.to/truelane/the-ai-api-stack-that-saved-my-startup-from-vendor-lock-in-50l6

Optional learning community: https://t.me/GyaanSetuAi