اجرای یک عامل LLM در مرورگر شما

اکثر دستیارهای هوش مصنوعی در یک مرکز داده قرار دارند. آن‌ها به یک کلید API، یک سرور نیاز دارند و به ازای هر درخواست هزینه دریافت می‌کنند.

من چیز متفاوتی ساختم.

من مدل‌های LiquidAI LFM2.5 (نسخه‌های ۲۳۰ و ۳۵۰ میلیونی) را به‌گونه‌ای بازتنظیم (fine-tune) کردم که کاملاً در مرورگر شما اجرا شوند؛ بدون نیاز به سرور و بدون هزینه‌های ابری.

هدف این بود که مدلی بسازم که آن‌قدر کوچک باشد که همراه با یک صفحه وب ارسال شود.

این مدل حقایق مربوط به محصولات خاص را ذخیره نمی‌کند، بلکه الگوها را یاد می‌گیرد. یک مدل بسیار کوچک می‌تواند یک کافی‌شاپ، یک خواربارفروشی یا هر فروشگاه دیگری را بدون نیاز به بازآموزی مدیریت کند.

آنچه مدل انجام می‌دهد

  • انتخاب ابزار مناسب برای یک وظیفه
  • اتصال صحیح آرگومان‌ها و شناسه‌های کالا (item IDs)
  • درک ارجاعات مانند «دومی» یا «یک جین»
  • استفاده از متن بازیابی‌شده برای پاسخ به سوالات
  • امتناع از پاسخ در صورت نبود اطلاعات
  • هدایت مجدد گفتگو در صورت خروج از موضوع

چگونه آن را ساختم

  • ثابت نگه داشتن مجموعه‌ای از هشت ابزار (search، add_to_cart، checkout و غیره)
  • برخورد با RAG به عنوان یک ابزار، به جای یک خط لوله (pipeline) مجزا
  • اعمال رمزگشایی با محدودیت دستور زبان (grammar-constrained decoding) برای دقت بیشتر
  • ایجاد یک مجموعه داده مصنوعی از ۱۸ دستورالعمل تعاملی
  • بازتنظیم (fine-tuning) روی ۳۰ میلیون توکن با استفاده از یک پردازنده گرافیکی ۱۶ گیگابایتی

تمرکز آموزش من مدل را بر اساس رفتارها آموزش دادم، نه لیست‌های سیاه (blocklists). به جای ممنوع کردن کلمات، به آن آموختم که گفتگوها را با ادب هدایت کند.

چرا این موضوع اهمیت دارد

  • حریم خصوصی: داده‌های شما هرگز از دستگاه شما خارج نمی‌شوند
  • استفاده آفلاین: بدون اتصال اینترنت کار می‌کند
  • هزینه: صفر بودن هزینه‌های استنتاج (inference)
  • دسترسی‌پذیری: رابط‌های کاربری پیچیده را با استفاده از صدا قابل پیمایش می‌کند

مدل کوچک است، اما کاربردی است. از پرسیدن اینکه آیا مدل‌های غول‌آسا می‌توانند وظایف را انجام دهند، دست بردارید. بپرسید که یک مدل چقدر می‌تواند کوچک باشد و در عین حال در یک دستگاه مفید باقی بماند.

Demo: https://lajosbencz.github.io/frontend-agent/ Code: https://github.com/lajosbencz/frontend-agent/ Source: https://dev.to/lajosbencz/running-an-llm-agent-entirely-in-your-browser-5foe

لایوس بنز (Lajos Bencz) یک مدل زبانی با ۳۵۰ میلیون پارامتر را به‌گونه‌ای بازتنظیم کرد که کاملاً در یک مرورگر وب اجرا شود و یک صفحه ایستا را به یک دستیار خرید خودکار تبدیل کند که به هیچ کلید API، سرور و هزینه‌های استنتاج مبتنی بر ابر نیاز ندارد. نتیجه، یک هوش مصنوعی با اولویت حریم خصوصی و قابلیت کارکرد آفلاین است که می‌تواند یک کافی‌شاپ، یک خواربارفروشی یا هر کاتالوگ مشابه دیگری را بدون نیاز به بازآموزی برای هر حوزه، مدیریت کند.

چرا یک LLM را در مرورگر اجرا کنیم

اکثر دستیارهای هوش مصنوعی در مراکز داده مستقر هستند.

آنچه در آینده باید دنبال کرد

مجموعه کد (https://github.com/lajosbencz/frontend-agent) باز است و از جامعه کاربری دعوت می‌کند تا ابزارهای جدیدی اضافه کنند، دستورالعمل‌های مصنوعی را گسترش دهند یا رویکردهای ترکیبی را امتحان کنند.

نکته کلیدی: تنظیم دقیق (Fine-tuning) یک LLM با اندازه متوسط به یک عامل (agent) خودکفا، امکان جاسازی یک هوش مصنوعی کاربردی و با حفظ حریم خصوصی را مستقیماً در یک صفحه وب فراهم می‌کند—بدون نیاز به سرور، بدون هزینه، و بدون خروج داده‌ها از دستگاه کاربر.