لقد أجريت اختباراً مرجعياً لتقنية Speculative Decoding — قيمة a = 3.5 لم تكن كافية

تعتمد تقنية Speculative Decoding (SD) على قاعدة رياضية بسيطة: a > 1 + α + β

يجب أن يتفوق طول القبول (a) على 1 مضافاً إليه نسبة الحوسبة (α) والعبء الإضافي للتحقق (β). إذا حدث ذلك، تنجح تقنية SD. وإذا لم يحدث، تفشل.

اختبرت هذه النظرية على جهاز حقيقي. استخدمت معالج Intel من الجيل الثاني عشر مع ذاكرة وصول عشوائي (RAM) بسعة 64 جيجابايت. وجمعت بين نموذج مسودة (draft model) صغير Qwen2.5-0.5B ونموذج مستهدف (target model) أكبر Qwen2.5-1.5B.

كانت النتائج مفاجئة. كانت تقنية SD أبطأ بنسبة تتراوح بين 49% و62% من عملية التوليد الخام (raw generation).

إليك كيف تفاوت طول القبول (a) حسب المهمة:

• JSON (مهيكل): a = 3.50. توقع نموذج المسودة التنسيق بشكل جيد. • Code (شبه مهيكل): a = 3.00. جيد، لكن أنماط التسمية كانت متفاوتة. • Story (إبداعي): a = 2.11. واجه نموذج المسودة صعوبة في اختيار الكلمات.

حتى عندما كانت قيمة "a" مرتفعة، فشلت تقنية SD على المعالج (CPU). لماذا؟

كانت المشكلة الأكبر هي معدل القبول الصفري (zero-accept rate). فبين 15% و30% من الجولات لم يتم قبول أي رموز (tokens) فيها.

في هذه الجولات، يعمل نموذج المسودة، ويقوم النموذج المستهدف بالتحقق، ولكنك لا تحصل على أي شيء جديد. لقد دفعت ثمن تشغيلين للحصول على رمز واحد فقط. وهذا يجعل تكلفة SD تبلغ ضعف التكلفة للحصول على نفس المخرجات.

وهذا يوضح لماذا تُعد تقنية SD تحسيناً مخصصاً لوحدات معالجة الرسومات (GPU).

في وحدة معالجة الرسومات (GPU)، يكون نموذج المسودة شبه مجاني، وتكون نسبة الحوسبة (α) ضئيلة جداً. أما في المعالج (CPU)، فإن نموذج المسودة يتنافس على عرض نطاق الذاكرة (memory bandwidth)، لذا فهو ليس مجانياً. وهنا تنهار المتباينة الرياضية على المعالج.

إذا كنت تستخدم SD على المعالج (CPU)، فلا تفعل ذلك. فالأرقام لا تدعم هذا التوجه.

أهم الاستنتاجات لعمليات النشر الخاصة بك:

  • قم بقياس قيمة "a" الخاصة بك. لا تثق بادعاءات الموردين.
  • قم بتقسيم بياناتك حسب نوع المهمة. فالأكواد والدردشة لها معدلات قبول مختلفة.
  • راقب معدل القبول الصفري. التباين العالي يفسد زمن استجابة p99.
  • استخدم SD على وحدات GPU حيث تكون تكلفة نموذج المسودة في حدها الأدنى.

أفضل عملية تحسين هي معرفة متى يجب إيقاف تشغيلها.

المصدر: https://dev.to/zxpmail/i-benchmarked-speculative-decoding-a-35-wasnt-enough-1geb

مجتمع تعليمي اختياري: https://t.me/GyaanSetuAi