هندسة الـ Harness ليس لها عنوان ثابت
هندسة الـ Harness ليست مكاناً في مكدس البرمجيات (software stack) الخاص بك، بل هي خاصية من خصائص الكود الخاص بك.
يعتقد الكثيرون أن الـ harness هو مجرد غلاف (wrapper) حول نموذج ذكاء اصطناعي. هذا خطأ. الـ harness هو ما يجعل النموذج مفيداً للأعمال الحقيقية.
أنا أستخدم معادلة بسيطة: الوكيل (Agent) = النموذج (Model) × الإطار (Harness).
النموذج هو المحرك. أما الـ harness فهو المقود، والمكابح، وقضبان الأمان.
ولكن هنا تكمن المشكلة. النموذج في تطور مستمر، وكل إصدار جديد من النموذج يمتص أجزاءً من الـ harness.
- نماذج الاستدلال (Reasoning models) تتعامل الآن مع منطق تسلسل الأفكار (chain-of-thought).
- النماذج الأفضل تتعامل مع استخدام الأدوات (tool use) بشكل أصلي (natively).
- نوافذ السياق الطويلة (Long context windows) تحل محل أنظمة الذاكرة القديمة.
إذا التهم النموذج الـ harness، فماذا سيتبقى لك لتبنيه؟
الأجزاء التي ستتلاشى هي الميكانيكا. ستصبح الحلقات (loops)، وعمليات إعادة المحاولة (retries)، وربط الذاكرة (memory stitching) مجرد سلع عامة (commodities). لا تراهن بمسيرتك المهنية على بناء "السباكة" (plumbing).
الأجزاء التي ستبقى هي المواصفات (specification) والتحقق (verification).
- المواصفات (Specification): يجب أن تحدد ما يُسمح للوكيل (agent) بفعله. لا يمكن للنموذج أن يعرف سياسة الاسترداد الخاصة بك أو مدى تحملك للمخاطر؛ فهذا أمر يعيش في الكود الخاص بك.
- التحقق (Verification): يجب أن تثبت أن الوكيل التزم بقواعدك. لا يمكن للنموذج أن يحكم على نفسه بشكل موثوق، لذا فأنت بحاجة إلى طبقة خارجية للتحقق من العمل.
فكر في وكيل استرداد الأموال (refund agent).
إذا وضعت حد الاسترداد في "الأمر" (prompt)، يمكن للمستخدم خداع النموذج. أما إذا وضعت الحد في جملة شرطية (if-statement) في الكود الخاص بك، فلن يتمكن النموذج من الجدال معها.
تلك الجملة الشرطية هي جوهر هندسة الـ harness.
هندسة الـ harness تتعلق بشيئين:
- تحديد نطاق السلوك المسموح به.
- إثبات أن الوكيل ظل داخل هذا النطاق.
النموذج هو النبات الذي تتحكم فيه. المواصفات هي هدفك. الـ harness هو وحدة التحكم (controller). التقييمات هي التغذية الراجعة (feedback).
الأدوات والميكانيكا ستتغير كل شهر، لكن انضباط المواصفات والتحقق لن يتغير.
توقف عن بناء "السباكة". ابدأ في بناء القيود (constraints) والبراهين (proofs).
المصدر: https://dev.to/saurav_bhattacharya/harness-engineering-has-no-fixed-address-2m7a
مجتمع تعليمي اختياري: https://t.me/GyaanSetuAi