𝗛𝗮𝗿𝗻𝗲𝘀𝘀 𝗘𝗻𝗴𝗶𝗻𝗲𝗲𝗿𝗶𝗻𝗴 𝗛𝗮𝘀 𝗡𝗼 𝗙𝗶𝘅𝗲𝗱 𝗔𝗱𝗱𝗿𝗲𝘀𝘀
ہارس انجینئرنگ (Harness engineering) آپ کے سافٹ ویئر اسٹیک میں کوئی جگہ نہیں ہے۔ یہ آپ کے کوڈ کی ایک خصوصیت ہے۔
بہت سے لوگ سمجھتے ہیں کہ ہارس (harness) محض ایک AI ماڈل کے گرد ایک ریپر (wrapper) ہے۔ یہ غلط ہے۔ ہارس ہی وہ چیز ہے جو ایک ماڈل کو حقیقی کاروبار کے لیے مفید بناتی ہے۔
میں ایک سادہ فارمولا استعمال کرتا ہوں: Agent = Model × Harness.
ماڈل انجن ہے۔ ہارس اسٹیئرنگ، بریک، اور حفاظتی ریلز (safety rails) ہے۔
لیکن مسئلہ یہ ہے۔ ماڈل مسلسل ترقی کر رہا ہے۔ ماڈل کا ہر نیا ورژن ہارس کے حصوں کو اپنے اندر جذب کر لیتا ہے۔
- ریزننگ ماڈلز (Reasoning models) اب چین آف تھاٹ (chain-of-thought) لاجک کو سنبھالتے ہیں۔
- بہتر ماڈلز اب نیٹو طریقے سے ٹولز کا استعمال کرتے ہیں۔
- طویل کانٹیکسٹ ونڈوز (Long context windows) پرانے میموری سسٹمز کی جگہ لے رہی ہیں۔
اگر ماڈل ہارس کو ہی نگل جائے، تو آپ کے لیے بنانے کے لیے کیا بچتا ہے؟
وہ حصے جو ختم ہو جائیں گے وہ میکینکس (mechanics) ہیں۔ لوپس (loops)، ری ٹرائیز (retries)، اور میموری اسٹچنگ (memory stitching) عام چیزیں (commodities) بن جائیں گی۔ اپنی کیریئر کی بازی پلنگ (plumbing) بنانے پر نہ لگائیں۔
وہ حصے جو باقی رہیں گے وہ سپیسیفیکیشن (specification) اور ویریفیکیشن (verification) ہیں۔
- Specification: آپ کو یہ طے کرنا ہوگا کہ ایجنٹ کو کیا کرنے کی اجازت ہے۔ ایک ماڈل آپ کی مخصوص ریفنڈ پالیسی یا آپ کے رسک ٹالرنس (risk tolerance) کو نہیں جان سکتا۔ یہ آپ کے کوڈ میں ہوتا ہے۔
- Verification: آپ کو یہ ثابت کرنا ہوگا کہ ایجنٹ آپ کے بنائے ہوئے اصولوں کے اندر رہا۔ ایک ماڈل خود پر بھروسے کے ساتھ فیصلہ نہیں کر سکتا۔ کام کو چیک کرنے کے لیے آپ کو ایک بیرونی لیئر (external layer) کی ضرورت ہوتی ہے۔
ایک ریفنڈ ایجنٹ کے بارے میں سوچیں۔
اگر آپ ریفنڈ کی حد کو پرامپٹ (prompt) میں رکھتے ہیں، تو صارف ماڈل کو دھوکہ دے سکتا ہے۔ اگر آپ حد کو اپنے کوڈ میں ایک if-statement میں رکھتے ہیں، تو ماڈل اس پر بحث نہیں کر سکتا۔
وہ if-statement ہی ہارس انجینئرنگ ہے۔
ہارس انجینئرنگ دو چیزوں کے بارے میں ہے:
- اجازت یافتہ طرزِ عمل کی حد (envelope of allowed behavior) کا تعین کرنا۔
- یہ ثابت کرنا کہ ایجنٹ اس کے اندر رہا۔
ماڈل وہ پودا ہے جسے آپ کنٹرول کر رہے ہیں۔ سپیسیفیکیشن آپ کا ہدف ہے۔ ہارس کنٹرولر ہے۔ ایویلیویشنز (evaluations) فیڈ بیک ہیں۔
ٹولز اور میکینکس ہر ماہ بدل جائیں گے۔ سپیسیفیکیشن اور ویریفیکیشن کا نظم و ضبط نہیں بدلے گا۔
پلنگ (plumbing) بنانا چھوڑیں۔ پابندیوں (constraints) اور ثبوتوں (proofs) کی تعمیر شروع کریں۔
Source: https://dev.to/saurav_bhattacharya/harness-engineering-has-no-fixed-address-2m7a
Optional learning community: https://t.me/GyaanSetuAi