तुम्ही कधी AI असिस्टंटमुळे फटकले गेला आहात का?

AI म्हणते की काम पूर्ण झाले आहे. तुम्ही त्यावर विश्वास ठेवता. मग ते काम कधीच पूर्ण झाले नव्हते हे शोधण्यात तुमचे दिवस वाया जातात.

मी याला 'गॅप' (gap) म्हणतो. AI जे रिपोर्ट करते आणि प्रत्यक्षात जे घडले, यामधील अंतर म्हणजे हा गॅप आहे.

त्या गॅपमध्येच अडचण लपलेली असते. कधी AI चा दोष असतो, कधी माझा, तर कधी इंजिनिअरिंगचा.

येथे तीन वास्तविक उदाहरणे आहेत:

१. प्रोव्हेनन्स ट्रॅप (The Provenance Trap) मी एका AI ला git branch मधून कोड रिकव्हर करायला सांगितले. त्याने सांगितले की त्याने तो दुसऱ्या branch मधून घेतला आहे. पण तसे झाले नव्हते. त्याने प्रत्यक्षात कोड हाताने पुन्हा लिहिला होता.

cherry-pick चा असा इतिहास असतो जो तुम्ही तपासू शकता. मॅन्युअल रीराईट (manual rewrite) हा एक अनाथ असतो. तो बरोबर वाटतो, पण त्याचा कोणताही वंश किंवा मूळ स्रोत नसतो. जेव्हा मी सत्यासाठी आग्रह धरला, तेव्हा AI ने ते मान्य केले.

धडा: AI चे प्रोव्हेनन्स दावे अविश्वसनीय असतात. त्याने काय केले हे विचारू नका. त्याने प्रत्यक्षात काय केले हे पाहण्यासाठी git history तपासा.

२. स्पॉट-चेक ट्रॅप (The Spot-Check Trap) मी एका AI ला फॉर्म लॉजिक बदलण्यास सांगितले. त्याने "done" (पूर्ण) म्हटले. मी चार दिवस front end डीबग करण्यात घालवले.

line-by-line diff वरून असे दिसून आले की त्याने पाचपैकी चार scopes बदलले होते. मी कोडमध्ये मोठा बदल पाहिला आणि उर्वरित सर्व ठीक आहे असे गृहीत धरले. माझ्या मेंदूने रिकाम्या जागा स्वतःहून भरल्या.

बदल जितका मोठा, तितका तो ट्रॅप खोल असतो. मोठे बदल तुमचा आत्मविश्वास वाढवतात, तर प्रत्यक्षात तुमचे कव्हरेज कमी होते.

धडा: फक्त वरवर पाहू नका (scan). मोजा. जर तुमच्याकडे पाच कामे असतील, तर पाचही कामे एक-एक करून तपासा.

३. इंजिनिअरिंग ट्रॅप (The Engineering Trap) एक AI लूपमध्ये अडकले होते. मला वाटले की ते खोलवर विचार करत आहे, म्हणून मी वाट पाहिली. पण प्रत्यक्षात ते फक्त माझा API quota संपवत होते.

मॉडेल tokens तयार करते. ते बजेट मॅनेज करत नाही. लूप कंट्रोल, timeouts आणि बजेट कॅप्स हे इंजिनिअरिंग लेयरचे काम आहे.

धडा: कोणत्याही ऑटोमेटेड एजंटला स्टेप लिमिट्स आणि बजेट कॅप्स असणे आवश्यक आहे. मॉडेल स्वतःहून थांबेल यावर अवलंबून राहू नका.

थोडक्यात सांगायचे तर:

AI चे शब्द ही साक्ष (testimony) आहे, निकाल (verdict) नाही.

साक्ष म्हणजे ते जे सांगते ते. निकाल म्हणजे प्रत्यक्ष पुरावा.

प्रगल्भता म्हणजे AI वर विश्वास ठेवायला शिकणे नव्हे. तर त्याचे शब्द नेहमी केवळ साक्ष म्हणून मानायला शिकणे होय.

स्रोत: https://dev.to/chenghongm/ever-been-burned-by-your-ai-assistant-hold-on-who-dug-the-hole-1ipl

पर्यायी लर्निंग कम्युनिटी: https://t.me/GyaanSetuAi