LiteRT.js Cranks MobileNetV2 to 2,439 FPS – Over 25x Faster Than TensorFlow.js

LiteRT.js از TensorFlow.js پیشی می‌گیرد

LiteRT.js با استفاده از WebGPU، استنتاج مدل MobileNetV2 را در 0.41 میلی‌ثانیه انجام می‌دهد و در پردازنده گرافیکی دسکتاپ M2 Max، نرخ 2,439 FPS را ارائه می‌دهد؛ یعنی بیش از 25 برابر سریع‌تر از TensorFlow.js روی همان سخت‌افزار. این شکاف در مدل‌های بزرگ‌تر حتی بیشتر هم می‌شود و یادگیری ماشین مبتنی بر وب را به سطح عملکردی می‌برد که زمانی تنها در اختیار اپلیکیشن‌های بومی (native) بود.

چرا این بنچمارک اهمیت دارد

توسعه‌دهندگان از TensorFlow.js برای استنتاج روی دستگاه، معمولاً از طریق بک‌اِند (backend) WebGL استفاده کرده‌اند. WebGL عملیات تنسور (tensor ops) را به خط لوله گرافیکی دوبعدی مرورگر نگاشت می‌کند؛ این روش همه‌جا کار می‌کند اما برای موازی‌سازی عظیمی که مدل‌های یادگیری عمیق به آن نیاز دارند، ساخته نشده است. WebGPU، که نسل بعدی

LiteRT.js ثابت می‌کند که WebGPU می‌تواند استنتاج مبتنی بر وب را به محدوده زیر میلی‌ثانیه برساند و بیش از ۲۵ برابر سرعت TensorFlow.js را روی GPUهای دسکتاپ ارائه دهد. این فناوری هنوز در حال تکامل است و توسعه‌دهندگان باید با محدودیت‌های batching، پاکسازی دستی حافظه و پشتیبانی محدود از موبایل کنار بیایند. برای تجربه‌هایی که اولویت با دسکتاپ است و عملکرد بی‌درنگ (real-time) می‌طلبند، این کتابخانه جدید مسیر پیشروی جذابی را ارائه می‌دهد؛ برای پوشش پلتفرم‌های مختلف، بک‌اندهای قدیمی‌تر WebGL و WASM همچنان ضروری هستند.