مدل زبانی Gemma گوگل که به ۲۸.۹ میلیون پارامتر کاهش یافته است، اکنون روی یک میکروکنترلر ESP32-S3 اجرا می‌شود که قیمتی در حدود ۸ دلار دارد. یک توسعه‌دهنده مستقل این اثبات مفهوم (proof-of-concept) را ساخته است که نشان می‌دهد یک LLM با قابلیت‌های کامل می‌تواند روی سخت‌افزاری به قدری ارزان اجرا شود که به راحتی در هر گجت اینترنت اشیا (IoT) پنهان شود.

این ترفند چگونه کار می‌کند

همان‌طور که منبع توضیح می‌دهد، ابزارهای فشرده‌سازی Gemma وزن‌های مدل و گراف اجرای آن را تا زمانی که در رم (RAM) و حافظه فلش محدود ESP32 جا شوند، فشرده می‌کنند. این تراشه که گزینه‌ای محبوب برای حسگرهای ارزان‌قیمت و گجت‌های پوشیدنی است، مدل را کاملاً به صورت آفلاین اجرا می‌کند و نیازی به اتصال ابری ندارد.

چرا این موضوع باعث نگرانی در امنیت IoT می‌شود

  • استنتاج آفلاین (Offline inference) داده‌ها را روی خود دستگاه نگه می‌دارد؛ این کار باعث حذف لاگ‌های سمت سرور می‌شود، اما در عین حال، نقطه دید و نظارتی را از جلوی مدافعان می‌گیرد.
  • سخت‌افزار ارزان و فراگیر به مهاجمان اجازه می‌دهد تا هوش مصنوعی پیچیده‌ای را در گجت‌هایی جاسازی کنند که در محیط‌های معمولی مصرف‌کننده یا صنعتی به راحتی ترکیب و پنهان می‌شوند.
  • خستگی از وصله‌گذاری و به‌روزرسانی – دستگاه‌های ESP32 اغلب از فریم‌ورهایی استفاده می‌کنند که به‌ندرت به‌روزرسانی می‌شوند، که این امر یک ماژول هوش مصنوعی آسیب‌پذیر را به یک کابوس لجستیکی تبدیل می‌کند.

مزایای بالقوه و توازن متقابل

اجرای هوش مصنوعی در لبه (edge) از حریم خصوصی کاربر محافظت می‌کند، زیرا داده‌های خام حسگر هرگز به یک سرور ارسال نمی‌شوند. با این حال، همین سپر حریم خصوصی می‌تواند مورد سوءاستفاده قرار گیرد.

گام بعدی برای مدافعان

توانایی اجرای یک LLM با ۲۸ میلیون پارامتر روی یک تراشه ۸ دلاری، قابلیتی را که زمانی فقط مختص فضای ابری بود، به یک تهدید پنهان و فراگیر تبدیل می‌کند. سازمان‌ها باید با هوش مصنوعی لبه (edge AI) به عنوان یک مرز امنیتی برخورد کنند، نه صرفاً یک ابزار تسهیل‌کننده.