𝗔𝗜 𝗗𝗲𝘁𝗲𝗰𝘁𝗼𝗿𝘀 𝗔𝗿𝗲 𝗚𝘂𝗲𝘀𝘀𝗶𝗻𝗴
AI डिटेक्टर अक्सर मानवीय लेखन को मशीन द्वारा निर्मित बताकर चिह्नित कर देते हैं। कई कंपनियाँ भर्ती या ग्रेडिंग के लिए इन उपकरणों का उपयोग करती हैं। वे स्कोर को एक तथ्य मान लेती हैं। लेकिन यह तथ्य नहीं है।
ये उपकरण आपके टेक्स्ट के अर्थ को नहीं पढ़ते हैं। वे मशीन द्वारा आउटपुट दिए जाने की संभावना का अनुमान लगाने के लिए गणित का उपयोग करते हैं।
वे तीन मुख्य चीजों पर ध्यान देते हैं:
- Perplexity (परप्लेक्सिटी): यह मापता है कि आपके शब्द कितने अनुमानित हैं। AI सबसे संभावित अगले शब्द का चुनाव करता है। मानवीय लेखन अक्सर अप्रत्याशित होता है। कम Perplexity वाला लेखन AI जैसा दिखता है।
- Burstiness (बर्स्टिनेस): यह वाक्यों की विविधता को मापता है। मनुष्य छोटे और लंबे वाक्यों का मिश्रण करते हैं। AI अक्सर एक स्थिर लय का उपयोग करता है। कम विविधता वाला लेखन AI जैसा दिखता है।
- Classifiers (क्लासिफायर): ये मॉडल मानवीय और मशीन के नमूनों का अध्ययन करते हैं। वे पैटर्न के आधार पर अनुमान लगाते हैं। यदि मॉडल कोई नई लेखन शैली देखता है, तो वह विफल हो जाता है।
Watermarking एक अन्य तरीका है। यह शब्दों के चयन में पैटर्न छिपा देता है। यदि कोई टेक्स्ट को संपादित (edit) या पैराफ़्रेज़ (paraphrase) करता है, तो यह तरीका विफल हो जाता है।
इन उपकरणों में गंभीर खामियां हैं:
- अच्छा लेखन AI जैसा दिखता है। स्पष्ट, सरल और संरचित गद्य (prose) में कम perplexity होती है। आप जितना बेहतर लिखते हैं, उपकरण की नज़र में आप उतने ही अधिक रोबोटिक लगते हैं।
- गैर-मूल भाषियों (non-native speakers) के प्रति पूर्वाग्रह। स्टैनफोर्ड के एक अध्ययन में पाया गया कि डिटेक्टर गैर-अंग्रेजी मूल भाषियों को अधिक बार चिह्नित करते हैं। इन उपकरणों के लिए सरल वाक्यांश मशीन आउटपुट जैसे लगते हैं।
- धोखा देना आसान है। कुछ पर्यायवाची शब्द या हल्के संपादन डिटेक्टर को विफल कर देते हैं। यह ईमानदार लेखकों को दंडित करता है जबकि कम मेहनत करने वाले AI उपयोगकर्ताओं को आसानी से पास होने देता है।
यहाँ तक कि OpenAI ने 2023 में अपने स्वयं के डिटेक्टर का उपयोग करना बंद कर दिया क्योंकि वह सटीक नहीं था। यदि निर्माता अपने स्वयं के AI का पता नहीं लगा सकते, तो उच्च सटीकता का दावा करने वाले किसी तीसरे पक्ष (third-party) के उपकरण पर भरोसा न करें।
इन स्कोर का सुरक्षित रूप से उपयोग कैसे करें:
- किसी एक स्कोर के आधार पर कार्रवाई न करें। एक गलत आरोप छात्रों या नौकरी चाहने वालों को वास्तविक नुकसान पहुँचा सकता है।
- प्रक्रिया की जाँच करें। संभावना स्कोर (probability score) के बजाय संपादन इतिहास (edit history) और ड्राफ्ट देखें।
- अनिश्चितता दिखाएं। यदि आप इन उपकरणों का उपयोग करते हैं, तो केवल 'मानव' या 'AI' जैसे बाइनरी लेबल देने के बजाय आत्मविश्वास की एक सीमा (range of confidence) दिखाएं।
AI डिटेक्टर पैटर्न मैचर्स हैं। वे संकेतों के लिए उपयोगी हैं लेकिन प्रमाण के रूप में खतरनाक हैं।
Source: https://dev.to/ricco020/ai-text-detectors-are-mostly-guessing-how-they-actually-work-2ibl
Optional learning community: https://t.me/GyaanSetuAi