AI डिटेक्टर्स फक्त अंदाज लावत आहेत

AI डिटेक्टर्स अनेकदा मानवी लेखन मशीनने तयार केल्यासारखे दर्शवतात. अनेक कंपन्या भरती किंवा ग्रेडिंगसाठी या साधनांचा वापर करतात. ते या स्कोअरला एक सत्य मानतात. पण ते सत्य नसते.

ही साधने तुमच्या मजकुराचा अर्थ समजून घेत नाहीत. मशीनने तयार केलेल्या आउटपुटची शक्यता ओळखण्यासाठी ती गणिताचा वापर करतात.

ती तीन मुख्य गोष्टींकडे लक्ष देतात:

  • Perplexity (पेरप्लेक्सिटी): तुमचे शब्द किती अंदाज लावण्यायोग्य आहेत हे याद्वारे मोजले जाते. AI नेहमी पुढचा सर्वात संभाव्य शब्द निवडते. मानवी लेखन अनेकदा अनपेक्षित असते. कमी perplexity असल्यास ते AI सारखे वाटते.
  • Burstiness (बर्स्टिनेस): हे वाक्यांमधील विविधता मोजते. मनुष्य लहान आणि मोठी वाक्ये एकत्र वापरतो. AI अनेकदा एकाच लयीत वाक्ये लिहिते. कमी विविधता असल्यास ते AI सारखे वाटते.
  • Classifiers (क्लासिफायर्स): ही मॉडेल्स मानवी आणि मशीनद्वारे तयार केलेल्या नमुन्यांचा अभ्यास करतात. ते पॅटर्नच्या आधारे अंदाज लावतात. जर मॉडेलला एखादी नवीन लेखन शैली दिसली, तर ते अपयशी ठरते.

वॉटरमार्किंग ही दुसरी पद्धत आहे. यामध्ये शब्दांच्या निवडीमध्ये काही पॅटर्न लपवले जातात. जर कोणी मजकूर संपादित (edit) केला किंवा तो वेगळ्या शब्दांत मांडला (paraphrase), तर ही पद्धत अपयशी ठरते.

या साधनांमध्ये गंभीर त्रुटी आहेत:

  • चांगले लेखन AI सारखे वाटते. स्पष्ट, साधे आणि सुव्यवस्थित लेखन असल्यास perplexity कमी असते. तुम्ही जितके चांगले लिहाल, तितके तुम्ही या साधनांच्या दृष्टीने 'रोबोटिक' वाटाल.
  • बिगर-मूळ भाषिक लोकांसाठी पूर्वग्रह. स्टॅनफोर्डच्या एका अभ्यासानुसार, डिटेक्टर्स बिगर-मूळ इंग्रजी बोलणाऱ्यांना अधिक वारंवार 'AI' म्हणून चिन्हांकित करतात. साधी वाक्यरचना या साधनांना मशीन आउटपुटसारखी वाटते.
  • फसवणे सोपे आहे. काही समानार्थी शब्द किंवा किरकोळ बदल केल्यास डिटेक्टर्सची पकड सुटते. यामुळे प्रामाणिक लेखकांना शिक्षा होते, तर कमी कष्ट घेणारे AI वापरकर्ते सहज सुटतात.

अगदी OpenAI ने देखील २०२३ मध्ये स्वतःचे डिटेक्टर वापरणे थांबवले कारण ते अचूक नव्हते. जर निर्माते स्वतःचे AI ओळखू शकत नसतील, तर उच्च अचूकतेचा दावा करणाऱ्या कोणत्याही थर्ड-पार्टी साधनावर विश्वास ठेवू नका.

हे स्कोअर सुरक्षितपणे कसे वापरावे:

  • एकाच स्कोअरवर आधारित कोणताही निर्णय घेऊ नका. चुकीच्या आरोपांमुळे विद्यार्थी किंवा नोकरी शोधणाऱ्यांचे वास्तविक नुकसान होऊ शकते.
  • प्रक्रियेची तपासणी करा. संभाव्यता स्कोअर (probability score) पाहण्याऐवजी एडिटिंग हिस्ट्री आणि ड्राफ्ट्स तपासा.
  • अनिश्चितता दर्शवा. जर तुम्ही ही साधने वापरत असाल, तर केवळ 'मानवी' किंवा 'AI' असे लेबल लावण्याऐवजी विश्वासाची एक श्रेणी (range of confidence) दर्शवा.

AI डिटेक्टर्स हे केवळ पॅटर्न मॅचर्स आहेत. ते केवळ संकेत देण्यासाठी उपयुक्त आहेत, पण पुरावा म्हणून वापरणे धोकादायक आहे.

Source: https://dev.to/ricco020/ai-text-detectors-are-mostly-guessing-how-they-actually-work-2ibl

Optional learning community: https://t.me/GyaanSetuAi