نموذج لغوي كبير (LLM) بـ 180 مليون معلمة على شريحة بقيمة 10 دولارات
يقوم مشروع جديد يسمى p-for-llm بشيء مثير للإعجاب؛ حيث يقوم بتشغيل نموذج يحتوي على 180.9 مليون معلمة على متحكم دقيق ESP32-P4. وتتراوح تكلفة هذه الشريحة بين ستة وعشرة دولارات.
تركز معظم مشاريع الذكاء الاصطناعي واسعة الانتشار على الرقائق الصغيرة على مهام بسيطة، حيث تستعرض نموذجاً يكتب قصصاً قصيرة. وغالباً ما تحتوي هذه النماذج على عدد قليل جداً من المعلمات وتفتقر إلى الفائدة الحقيقية.
مشروع p-for-llm مختلف، فهو يهدف إلى الفائدة العملية.
إليك آلية عمله:
- يستخدم بنية "خليط من الخبراء" (Mixture-of-Experts - MoE).
- لكل رمز (token)، يختار الموجه (router) خبيراً واحداً من أصل 29.
- تظل الخبراء الـ 28 الآخرون غير نشطين.
- يوفر هذا قوة الحوسبة مع الحفاظ على مستوى عالٍ من المعرفة.
- يستخدم أوزاناً ثلاثية (ternary weights) لتناسب النموذج في الذاكرة الصغيرة.
- يولد النموذج حوالي 9 رموز (tokens) في الثانية.
عملية التدريب جديرة بالملاحظة أيضاً؛ فقد استخدم المطور بطاقة رسوميات استهلاكية واحدة من نوع RTX 5060 Ti. لا يوجد هنا مختبر ضخم أو ميزانية هائلة، بل مجرد شخص واحد يمتلك وحدة معالجة رسوميات (GPU) متوسطة المدى وصبرًا.
هناك عقبة واحدة يجب أن تعرفها: النموذج ليس مستقلاً تماماً بعد، إذ يجب عليك دفع الأوزان (weights) إلى اللوحة عبر USB عند بدء التشغيل. إنه ليس جهازاً مستقلاً يعمل عبر التحميل من بطاقة SD بعد.
لا يزال هذا ليس عرضاً سحابياً؛ فالحسابات تتم محلياً على الشريحة. وتعد هذه خطوة هائلة تتفوق على المشاريع التي تكتفي ببث البيانات إلى خادم.
لماذا يهم هذا الأمر؟
عادة ما تصطدم النماذج الصغيرة بحائط مسدود؛ فقد تكون جذابة ولكنها لا تستطيع اتباع التعليمات. يحاول p-for-llm تجاوز هذه العقبة، حيث يدعم مطالبات ChatML ويظهر علامات مبكرة على القدرة على استدعاء الأدوات (tool calling).
يظهر هذا المشروع أن التقدم الحقيقي غالباً ما يحدث بهدوء. فبينما تطارد المشاريع واسعة الانتشار العناوين البراقة، ينشر البناؤون الجادون حدود قدراتهم وملاحظاتهم الدقيقة.
سأقوم باختبار هذه الأجهزة شخصياً للتحقق من هذه الأرقام.
مجتمع تعليمي اختياري: https://t.me/GyaanSetuAi