کیا آپ کبھی کسی AI اسسٹنٹ کے دھوکے کا شکار ہوئے ہیں؟
AI کہتا ہے کہ کام مکمل ہو گیا ہے۔ آپ اس پر بھروسہ کرتے ہیں۔ پھر آپ کئی دن یہ معلوم کرنے میں گزار دیتے ہیں کہ اس نے کام کبھی مکمل ہی نہیں کیا تھا۔
میں اسے "گیپ" (gap) کہتا ہوں۔ یہ اس چیز کے درمیان کا خلا ہے جو ایک AI رپورٹ کرتا ہے اور جو حقیقت میں ہوا ہوتا ہے۔
وہ خامی اسی خلا میں چھپی ہوتی ہے۔ کبھی اس کے لیے AI ذمہ دار ہوتا ہے۔ کبھی میں ذمہ دار ہوتا ہوں۔ اور کبھی انجینئرنگ ذمہ دار ہوتی ہے۔
یہاں تین حقیقی مثالیں ہیں:
- Provenance کا جال میں نے ایک AI سے ایک git branch سے کوڈ بحال کرنے کو کہا۔ اس نے کہا کہ اس نے اسے دوسری branch سے نکالا ہے۔ ایسا نہیں تھا۔ بلکہ اس نے درحقیقت کوڈ کو خود ہاتھ سے دوبارہ لکھا تھا۔
ایک cherry-pick کی ایسی تاریخ ہوتی ہے جس پر آپ نظر رکھ سکتے ہیں۔ دستی طور پر دوبارہ لکھا گیا کوڈ ایک "یتیم" (orphan) کی طرح ہوتا ہے۔ یہ درست نظر آتا ہے، لیکن اس کا کوئی شجرہ نسب (lineage) نہیں ہوتا۔ جب میں نے سچائی پر زور دیا، تو AI نے اعتراف کر لیا۔
سبق: AI کے provenance کے دعوے ناقابل اعتبار ہیں۔ یہ نہ پوچھیں کہ اس نے کیا کیا، بلکہ یہ دیکھنے کے لیے git history دیکھیں کہ اس نے حقیقت میں کیا کیا تھا۔
- Spot-Check کا جال میں نے ایک AI سے form logic تبدیل کرنے کو کہا۔ اس نے کہا "ہو گیا"۔ میں نے چار دن front end کو ڈی بگ (debug) کرنے میں گزار دیے۔
ایک line-by-line diff نے دکھایا کہ اس نے پانچ میں سے چار scopes تبدیل کر دیے تھے۔ میں نے کوڈ میں بڑی تبدیلی دیکھی اور فرض کر لیا کہ باقی سب ٹھیک ہے۔ میرے دماغ نے خود ہی خالی جگہوں کو بھر دیا۔
تبدیلی جتنی بڑی ہوگی، جال اتنا ہی گہرا ہوگا۔ بڑی تبدیلیاں آپ کے اعتماد کو تو بڑھا دیتی ہیں لیکن آپ کی اصل کوریج (coverage) کم ہو جاتی ہے۔
سبق: صرف نظر نہ ڈالیں۔ گنیں۔ اگر آپ کے پاس پانچ کام ہیں، تو پانچوں کی ایک ایک کر کے تصدیق کریں۔
- انجینئرنگ کا جال ایک AI لوپ (loop) میں پھنس گیا۔ میں نے سوچا کہ وہ گہرائی سے سوچ رہا ہے، اس لیے میں نے انتظار کیا۔ درحقیقت وہ صرف میرا API quota ختم کر رہا تھا۔
ماڈل tokens پیدا کرتا ہے۔ وہ بجٹ کا انتظام نہیں کرتا۔ Loop control، timeouts، اور budget caps کا تعلق انجینئرنگ لیئر سے ہے۔
سبق: کسی بھی خودکار ایجنٹ (automated agent) میں اقدامات کی حد (step limits) اور بجٹ کی حد (budget caps) ہونی چاہیے۔ ماڈل کے خود کو روکنے پر بھروسہ نہ کریں۔
خلاصہ:
AI کا لفظ ایک گواہی ہے، فیصلہ نہیں۔
گواہی وہ ہے جو وہ کہتا ہے۔ فیصلہ وہ ہے جو ٹھوس ثبوت ہے۔
- اگر وہ کہتا ہے "fixed" (ٹھیک کر دیا)، تو diff چیک کریں۔
- اگر وہ کہتا ہے "pulled" (نکال لیا)، تو git log چیک کریں۔
- اگر وہ کہتا ہے "thinking" (سوچ رہا ہے)، تو token کا خرچ چیک کریں۔
سمجھداری AI پر بھروسہ کرنا سیکھنے میں نہیں ہے۔ بلکہ اس کے الفاظ کو ہمیشہ ایک گواہی کے طور پر لینے میں ہے۔
Source: https://dev.to/chenghongm/ever-been-burned-by-your-ai-assistant-hold-on-who-dug-the-hole-1ipl
Optional learning community: https://t.me/GyaanSetuAi