POCKET-35B، وهو نموذج لغوي يحتوي على 35 مليار معلمة (parameter) أصدرته شركة VIDRAFT، يمكن الآن تشغيله على جهاز كمبيوتر محمول يحتوي على وحدة معالجة مركزية (CPU) فقط. تُحمّل أوزان النموذج بتنسيق GGUF مباشرة في llama.cpp أو Ollama، مما يتيح للفرق التي لا تملك ميزانية لوحدات معالجة الرسومات (GPU) البدء في التجربة فوراً. وفي غضون سبعة أسابيع من إطلاقه، تجاوز النموذج مليون عملية تنزيل على Hugging Face، ليحتل المرتبة 13 بين جميع تنزيلات GGUF في جميع أنحاء العالم.
لماذا تكتسب النماذج اللغوية الكبيرة (LLM) التي تعمل على وحدة المعالجة المركزية (CPU) فقط أهمية الآن
غالباً ما تفتقر الشركات التي تحتاج إلى الاحتفاظ بالنصوص المملوكة لها — مثل رسائل البريد الإلكتروني للعملاء، والتذاكر الداخلية، ومقتطفات الأكواد — في مقرها (on-premises) إلى الأموال اللازمة لشراء بطاقات رسومات مخصصة. وحتى وقت قريب، كان الخيار العملي الوحيد هو إرسال البيانات إلى واجهة برمجة تطبيقات (API) مستضافة سحابياً، مما يضحي بالخصوصية ويتسبب في تكاليف متكررة. يعد POCKET-35B بحل وسط: نموذج كبير بما يكفي للتعامل مع الأوامر (prompts) المعقدة، وفي الوقت نفسه يتناسب مع حدود الذاكرة في أجهزة الكمبيوتر المحمولة المكتبية العادية أو أجهزة الكمبيوتر الصغيرة (mini-PC).
كيف يتناسب النموذج مع جهاز كمبيوتر محمول
- تنسيق GGUF – حاوية ثنائية تخزن الأوزان المكممة (quantized weights).
- التوافق – يتضمن كل من llama.cpp و Ollama بيئات تشغيل (runtimes) تقرأ ملفات GGUF وتنفذ الاستدلال (inference) على وحدات المعالجة المركزية (CPUs). يمكن استخدام وحدة معالجة رسومات (GPU) مدمجة لتخفيف العبء عن بعض الطبقات، ولكن ذلك ليس ضرورياً.
- التحقق من ذاكرة الوصول العشوائي (RAM) – حجم ملف GGUF هو الحد الأدنى من ذاكرة RAM التي تحتاجها. إذا كان حجم الملف، على سبيل المثال، بضعة جيجابايت، فستحتاج إلى جهاز يحتوي على هذه القدر من الذاكرة الحرة على الأقل قبل بدء عملية التنزيل.
خطوات تشغيل POCKET-35B على جهاز الكمبيوتر المحمول الخاص بك
- التحقق من الذاكرة – افتح مدير المهام (task manager) في نظامك، وسجل إجمالي ذاكرة RAM، وقارنها بحجم ملف GGUF المدرج في صفحة Hugging Face.
- اختر التكميم (quantization) المناسب – ابدأ بإصدار Q4؛ فهو يوازن بين الحجم والسرعة لمعظم أجهزة الكمبيوتر المحمولة.
- التنزيل عبر llama.cpp أو Ollama – يمكن لكلتا الأداتين جلب النموذج مباشرة من Hugging Face، مع معالجة التحقق من المجموع التدقيقي (checksum) تلقائياً.
- إجراء اختبار سريع للتأكد من السلامة – قم بتشغيل بيئة التشغيل باستخدام أمر بسيط مثل “Hello, world” للتأكد من نجاح عملية التحميل.
- إنشاء مجموعة اختبار مرجعية (benchmark) واقعية – اجمع من 30 إلى 50 مهمة تحاكي عبء عمل الإنتاج الخاص بك (مثل تصنيف فئات التذاكر، أو صياغة ردود البريد الإلكتروني). قم بتشغيلها عبر النموذج وسجل زمن الاستجابة (latency) وجودة مخرجات الرموز (token-output).
- اختبار تغطية اللغات – تغفل وثائق POCKET-35B قائمة اللغات المدعومة. إذا كنت بحاجة إلى اللغة الفيتنامية أو غيرها من النصوص غير الإنجليزية، فقم بإدخال بعض الجمل التي تحتوي على علامات تشكيل وراقب ما إذا كان النموذج ينتج مخرجات متماسكة.
- قياس زمن الاستجابة الفعلي – سجل الأوقات لكل أمر (prompt) على أجهزتك الخاصة؛ لا تعتمد على أرقام الاختبار المرجعي التي ينشرها مستخدمون آخرون لديهم وحدات معالجة مركزية (CPUs) أو عرض نطاق ترددي لذاكرة RAM مختلف.
ما لا تخبرك به أرقام التنزيل
يشير وصول عدد التنزيلات إلى مليون إلى فضول مجتمعي قوي، وليس إلى أداء مضمون. لم يتم تدقيق قدرة النموذج على الاستنتاج، أو مهارة توليد الأكواد، أو اتباع التعليمات بشكل مستقل. كما لم تكشف VIDRAFT عن تفاصيل بنية النموذج أو مصادر بيانات التدريب، مما يترك فجوة معلوماتية تجعل النشر في بيئة الإنتاج أمراً محفوفاً بالمخاطر.
المخاطر والحجج المضادة
- جودة غير واضحة – بدون مقاييس تقييم منشورة، لا يمكنك التأكد من أن POCKET-35B يضاهي دقة البدائل الأخرى مفتوحة المصدر.
- عدم اليقين في مستوى الإنتاج – إن نقص الشفافية في البنية يجعل من الصعب التنبؤ بالسلوك في ظل الأوامر العدائية أو المدخلات التي تمثل حالات استثنائية (edge-case).
الخلاصة
إذا كان فريقك بحاجة إلى تجربة نموذج لغوي كبير (LLM) بـ 35 مليار معلمة اليوم ولا يستطيع تحمل تكلفة وحدة معالجة رسومات (GPU)، فإن POCKET-35B يوفر نقطة دخول مجدية ومنخفضة التكلفة. يعمل النموذج على جهاز كمبيوتر محمول قياسي باستخدام تنسيق GGUF، وتجعل بيئات التشغيل مفتوحة المصدر عملية الإعداد مباشرة. ومع ذلك، تعامل مع النموذج كأداة تجريبية: تحقق من متطلبات الذاكرة، واختبره بمهام حقيقية، وتأكد من معالجة اللغات قبل دمجه في أي مسار إنتاج. ومع تراكم بيانات المجتمع وإصدار VIDRAFT لمزيد من التفاصيل، سيصبح ملف المخاطر أكثر وضوحاً — ولكن في الوقت الحالي، يمكن لجهاز كمبيوتر محمول واحد بالفعل استضافة نموذج LLM بـ 35 مليار معلمة، وإن كان ذلك بتوقعات مدروسة.