AI डिटेक्शनची विश्वासार्हतेचे संकट: काही साधने यशस्वी, तर काही पूर्णपणे अपयशी

Authors Guild च्या अलीकडील एका अभ्यासाने AI लेखन शोधणाऱ्या साधनांच्या (AI writing detectors) विश्वासार्हतेमधील मोठी तफावत उघड केली आहे. काही साधने अत्यंत अचूक आहेत, तर काही मूलभूतपणे दोषपूर्ण आहेत हे यातून दिसून आले आहे. ही अस्थिरता व्यावसायिक लेखकांसाठी एक मोठा धोका निर्माण करते, ज्यांचे उपजीविका त्यांचे लेखन मानवनिर्मित असल्याचे सिद्ध करण्यावर अवलंबून आहे.

कामगिरीतील तफावत: परिपूर्णतेपासून पूर्ण अपयशापर्यंत

Authors Guild ने २०२० ते २०२२ दरम्यान प्रकाशित झालेल्या दहा लेखांचा वापर करून एक कडक चाचणी घेतली—जे जनरेटिव्ह AI मुख्यप्रवाहातील बनण्यापूर्वीचे वर्ष होते. "AI-पूर्व" मानवी मजकूर वापरून, या अभ्यासाने 'फॉल्स पॉझिटिव्ह' (चुकीचे निष्कर्ष) दर मोजण्यासाठी एक स्पष्ट आधार (baseline) प्रदान केला.

निकाल अत्यंत टोकाचे होते. Pangram आणि Grammarly सर्वात विश्वासार्ह म्हणून समोर आले, त्यांनी मानवी लेखनाचे प्रत्येक उदाहरण अचूकपणे मानवी म्हणून ओळखले (०.०% AI स्कोअर). Originality.ai ने देखील उत्तम कामगिरी केली आणि सर्वत्र उच्च अचूकता राखली.

याउलट, Sidekicker.ai पूर्णपणे अपयशी ठरले. चाचणीतील प्रत्येक मानवी लेख "बहुतेक AI-निर्मित" म्हणून चिन्हांकित (flagged) करण्यात आला, ज्यातील दोन विशिष्ट लेखांना १००% AI स्कोअर मिळाला. ZeroGPT देखील अविश्वसनीय ठरले; त्यांनी "Erdrich Pulitzer Prize" सारख्या स्पष्टपणे मानवी असलेल्या मजकुरासाठी वारंवार उच्च AI टक्केवारी दर्शवली, ज्याला त्यांनी ७६.३% AI संभाव्यता असल्याचे सांगितले.

व्यावसायिक लेखनाचा विरोधाभास

हा अभ्यास एक त्रासदायक तांत्रिक विरोधाभास अधोरेखित करतो: एखादा मानवी लेखक जितका कुशल असतो, तितकीच त्याच्यावर दोषपूर्ण डिटेक्टर्सद्वारे संशय घेण्याची शक्यता जास्त असते. व्यावसायिक लेखन स्पष्टता, संक्षिप्तता आणि अचूकतेवर अवलंबून असते—हे नेमके ते सांख्यिकीय नमुने (statistical patterns) आहेत ज्याची नक्कल करण्यासाठी Large Language Models (LLMs) ला प्रशिक्षित केले गेले आहे.

AI मॉडेल्सना उच्च दर्जाच्या मानवी गद्यावर प्रशिक्षित केले जात असल्यामुळे, उत्कृष्टपणे लिहिलेल्या वाक्याचा "फिंगरप्रिंट" AI-निर्मित वाक्यासारखाच दिसू शकतो. यामुळे एक अत्यंत संवेदनशील परिस्थिती निर्माण होते, जिथे दशकानुदशके आपले कौशल्य सुधारणारा लेखक Sidekicker सारख्या साधनामुळे चुकीच्या निष्कर्षांमुळे (false positive) आपले करार गमावू शकतो किंवा आपल्या प्रतिष्ठेला तडा जाऊ शकतो.

"ब्लॅक बॉक्स" समस्या आणि शोधण्याचे (Detection) भविष्य

यशस्वी साधने देखील पारदर्शकतेबाबत टीकेला सामोरे जात आहेत. Pangram चे CEO Max Spero यांनी नमूद केले की त्यांचे डिटेक्टर प्रामुख्याने "ब्लॅक बॉक्स" प्रमाणे कार्य करते, याचा अर्थ एखादा विशिष्ट मजकूर का चिन्हांकित केला गेला याचे सविस्तर स्पष्टीकरण ते देऊ शकत नाहीत. जरी ते असा युक्तिवाद करतात की मानवी लेखन LLM च्या एकसारखेपणापेक्षा अधिक विविधता आणि तर्कसंगत रचनेसह असते, तरीही स्पष्टीकरणाचा अभाव ही उत्तरदायित्वासाठी एक अडचण आहे.

शिवाय, या चाचणीतील Pangram आणि Grammarly चे यश प्रामुख्याने हे सिद्ध करते की ते फॉल्स पॉझिटिव्ह टाळण्यात (मानवांना चुकीचे घोषित न करणे) चांगले आहेत. याचा अर्थ असा नाही की ते AI पकडण्यात (मशीन मजकूर ओळखण्यात) देखील तितकेच प्रभावी आहेत.

उद्योग "लिहिण्यासाठी AI वापरणे" आणि "विचार करण्यासाठी AI वापरणे" यातील फरक ओळखण्यासाठी संघर्ष करत असताना, Authors Guild चे चेतावणी आहे की शोध साधने (detection tools) कधीही व्यावसायिक निर्णयांचा एकमेव आधार नसावीत.

मुख्य निष्कर्ष

• अचूकतेतील टोकाची तफावत: जरी Pangram आणि Grammarly ने चाचणीत ०% फॉल्स पॉझिटिव्ह दर गाठला असला, तरी Sidekicker.ai ने १००% मानवी मजकूर AI-निर्मित म्हणून चिन्हांकित केला.
• व्यावसायिक दंड (Penalty): उच्च दर्जाचे, अचूक मानवी लेखन AI आउटपुटशी सांख्यिकीय साम्य दर्शवते, ज्यामुळे तज्ज्ञ लेखक शोध त्रुटींना (detection errors) बळी पडू शकतात.
• मानवी देखरेखीची गरज: Authors Guild प्रकाशकांना सल्ला देते की डिटेक्टर्सचा वापर केवळ पूरक साधने म्हणून करावा आणि लेखकांना त्यांच्या कामाचा बचाव करण्याची संधी द्यावी.