𝗧𝗵𝗲 𝗔𝗴𝗲𝗻𝘁𝗶𝗰 𝗔𝗜 𝗚𝗼𝘃𝗲𝗿𝗻𝗮𝗻𝗰𝗲 𝗙𝗿𝗮𝗺𝗲𝘄𝗼𝗿𝗸

ساکن (Static) پی ڈی ایف پالیسیاں متحرک (dynamic) اے آئی ایجنٹس کو کنٹرول نہیں کر سکتیں۔ اگر آپ کو ہر ایجنٹ کے عمل کے لیے دستی منظوری کی ضرورت ہے، تو آپ رفتار کھو دیں گے۔

وسعت (scale) کے لیے، آپ کو Human-in-the-Loop (HITL) سے Human-on-the-Loop (HOTL) کی طرف منتقل ہونا ہوگا۔ HITL میں، انسان رکاوٹ (bottlenecks) بن جاتے ہیں۔ HOTL میں، انسان معماروں (architects) کے طور پر کام کرتے ہیں جو گارڈ ریلز (guardrails) بناتے ہیں اور سسٹمز کی نگرانی کرتے ہیں۔

The Autonomy Spectrum

آپ کو پروکیورمنٹ ایجنٹ (procurement agent) کے ساتھ ویسا ہی سلوک نہیں کرنا چاہیے جیسا کہ ڈیواپس (DevOps) ایجنٹ کے ساتھ کیا جاتا ہے۔ اپنے ایجنٹس کو ان کے فیصلہ سازی کے اختیار کے لحاظ سے درجہ بندی کریں:

• مشاورتی (کم خودمختاری): ایجنٹ اقدامات تجویز کرتا ہے۔ انسان انہیں نافذ کرتا ہے۔ • نیم خود مختار (درمیانی خودمختاری): ایجنٹ ایک محفوظ زون کے اندر کام کرتا ہے۔ یہ مدد صرف اس وقت مانگتا ہے جب یہ کسی حد تک پہنچ جائے۔ • مکمل طور پر خود مختار (زیادہ خودمختاری): ایجنٹ ایک سینڈ باکس (sandbox) کے اندر شروع سے آخر تک اہداف کا انتظام کرتا ہے۔

مثال: ایک سپورٹ ایجنٹ 50 ڈالر تک ریفنڈ جاری کر سکتا ہے۔ اگر درخواست 51 ڈالر کی ہو، تو ایجنٹ کو رکنا ہوگا اور انسان سے پوچھنا ہوگا۔ یہ اختیارات کے انحراف (authority drift) کو روکتا ہے۔

Stop Relying on Prompts for Security

سسٹم پرامپٹس تجاویز ہیں، قواعد نہیں۔ یہ احتمالی (probabilistic) ہوتے ہیں۔ پروڈکشن میں، ایک تجویز ایک کمزوری (vulnerability) ہے۔ آپ کو استدلال (reasoning) کو نفاذ (enforcement) سے الگ کرنا چاہیے۔

ایک تہوں پر مشتمل دفاع (layered defense) استعمال کریں:

یہ سیٹ اپ پرامپٹ انجیکشن (prompt injection) کو روکتا ہے۔ اگر گارڈ ریل مڈل ویئر کی سطح پر ہے، تو پرامپٹ میں کوئی چال کام نہیں کرے گی۔

Observability and the Kill Switch

معیاری لاگز (logs) کافی نہیں ہیں۔ آپ کو Chain-of-Thought (CoT) کو لاگ کرنے کی ضرورت ہے۔ آپ کو معلوم ہونا چاہیے کہ ایجنٹ نے کیوں سوچا کہ ایک عمل درست تھا۔

ملٹی ایجنٹ ورک فلو میں تسلسل سے ہونے والی ناکامیوں (cascading failures) کو روکنے کے لیے، ایک کل سوئچ پروٹوکول (Kill Switch Protocol) نافذ کریں۔ اسے چاہیے کہ:

Dynamic Permissioning

ایجنٹس کے پاس کوئی مستقل مراعات (standing privileges) نہیں ہونی چاہئیں۔ Just-in-Time (JIT) رسائی استعمال کریں۔ ایک ایجنٹ صرف اس وقت ایک مختصر مدت کا ٹوکن طلب کرتا ہے جب اسے کسی مخصوص API کو کال کرنے کی ضرورت ہو۔ یہ اس بات کو یقینی بناتا ہے کہ ایجنٹ کی شناخت انسان سے منظور شدہ مقصد سے جڑی رہے۔

Key Takeaways for Platform Engineers:

ماخذ: https://dev.to/omnithium/the-agentic-ai-governance-framework-balancing-autonomy-and-control-2occ

اختیاری سیکھنے کی کمیونٹی: https://t.me/GyaanSetuAi