ہم نے ماڈلز پر بھروسہ کرنا چھوڑ دیا۔ پھر ہم نے اپنے اعداد و شمار پر بھی بھروسہ کرنا چھوڑ دیا۔
میں نے بہتر AI ماڈلز کے پیچھے بھاگنا چھوڑ دیا۔ میں نے سوچا تھا کہ ایک طاقتور ماڈل میرے سسٹم کو ٹھیک کر دے گا۔ ایسا نہیں ہوا۔ مسئلہ ماڈل کا نہیں تھا۔ مسئلہ سسٹم کا تھا۔
پھر مجھے اس سے بھی بدتر چیز کا احساس ہوا۔ میں اپنی پیمائش پر بھی بھروسہ نہیں کر سکتا تھا۔
میں نے تین مختلف ناکامیاں دیکھیں:
- ایک ٹیسٹ سویٹ (test suite) جو غلط ماحول کی پیمائش کرتے ہوئے پاس ہو گیا۔
- ایک گیٹ (gate) جس نے کام کو روک دیا لیکن غلط اعداد و شمار فراہم کیے۔
- ایک ایجنٹ جس نے غلط تعداد رپورٹ کی۔
ہر ناکامی کامیابی کی طرح لگ رہی تھی جب تک کہ میں نے قریب سے نہیں دیکھا۔ تصدیق (verification) کے میرے ٹولز مجھ سے جھوٹ بول رہے تھے۔
میرا پہلا ردعمل تمام غیر یقینی صورتحال (uncertainty) پر پابندی لگانے کا تھا۔ میں ہر احتمالی عنصر (probabilistic element) کو ختم کرنا چاہتا تھا۔ میں چاہتا تھا کہ ہر چیز یقینی (deterministic) ہو۔
یہ ایک غلطی تھی۔
اگر آپ تمام غیر یقینی صورتحال کو ختم کر دیں گے، تو آپ AI کی اہمیت بھی ختم کر دیں گے۔ AI کا مقصد آئیڈیاز پیش کرنا اور حل تلاش کرنا ہے۔ آپ یہ کسی سخت اصول سے حاصل نہیں کر سکتے۔
حل غیر یقینی صورتحال پر پابندی لگانا نہیں ہے۔ حل اسے صحیح جگہ پر رکھنا ہے۔
ایک سسٹم کو دو مختلف نشستوں کی ضرورت ہوتی ہے:
تجویز دینے والی نشست (The Proposing Seat) یہ نشست تلاش کرتی ہے اور تجاویز دیتی ہے۔ اسے غیر یقینی (nondeterminism) کی ضرورت ہوتی ہے۔ اگر کوئی ماڈل غلط حل تجویز کرتا ہے، تو اس کی قیمت کم ہوتی ہے کیونکہ اس نے ابھی تک کوئی فیصلہ نہیں کیا ہوتا ہے۔
فیصلہ کرنے والی نشست (The Judging Seat) یہ نشست فیصلہ کرتی ہے کہ آیا کوئی ٹیسٹ پاس ہوا ہے یا کوئی اصول پورا ہوا ہے۔ اس نشست کا یقینی (deterministic) ہونا لازمی ہے۔ اسے دوبارہ پیدا کرنے کے قابل (reproducible) اور قابلِ جانچ ہونا چاہیے۔
میرے سسٹم میں ناکامیاں اس لیے ہوئیں کیونکہ میں نے فیصلہ کرنے والی نشست میں غلط چیزیں رکھ دی تھیں۔ میں نے غیر یقینی عمل کو حتمی فیصلے کرنے دیے۔
اصول سادہ ہے:
- غیر یقینی حصوں کو تلاش کرنے دیں۔
- یقینی حصوں کو فیصلہ کرنے دیں۔
پورے سسٹم کو یقینی بنانے کی کوشش نہ کریں۔ اس کے بجائے، اس بات کو یقینی بنائیں کہ آپ کے فیصلے کرنے والے (judges) مضبوط ہوں۔ ایک غلط یقینی فیصلہ کرنے والا (deterministic judge) ایک احتمالی (probabilistic) فیصلے کرنے والے سے زیادہ خطرناک ہوتا ہے۔ ایک غلط فیصلہ کرنے والا ایک مستقل غلطی پیدا کرتا ہے جس پر آپ آخر کار سوال اٹھانا چھوڑ دیتے ہیں۔
ہر وہ تہہ (layer) جو آپ کو اعتماد فراہم کرتی ہے، اسے پہلے ناپا جانا چاہیے۔ وہ پیمائش کسی ایسی یقینی چیز پر مبنی ہونی چاہیے جسے آپ خود دیکھ سکیں۔
آپ اپنے AI سسٹمز میں تجویز دینے اور فیصلہ کرنے کے درمیان لکیر کیسے کھینچتے ہیں؟ آپ کہاں یقینی (determinism) پر اصرار کرتے ہیں؟
Source: https://dev.to/josephyeo/we-stopped-trusting-models-then-we-stopped-trusting-our-own-numbers-1611
Optional learning community: https://t.me/GyaanSetuAi