تشخیصدهندههای هوش مصنوعی فقط حدس میزنند
تشخیصدهندههای هوش مصنوعی اغلب نوشتههای انسانی را به عنوان نوشتههای ماشینی علامتگذاری میکنند. بسیاری از شرکتها از این ابزارها برای استخدام یا نمرهدهی استفاده میکنند. آنها امتیاز را به عنوان یک واقعیت در نظر میگیرند، در حالی که این واقعیت نیست.
این ابزارها متن شما را برای درک معنا نمیخوانند؛ بلکه از ریاضیات برای حدس زدن احتمال خروجی ماشینی استفاده میکنند.
آنها به سه مورد اصلی توجه میکنند:
- Perplexity (پیچیدگی): این معیار میزان قابل پیشبینی بودن کلمات شما را اندازهگیری میکند. هوش مصنوعی محتملترین کلمه بعدی را انتخاب میکند، اما نوشتههای انسانی اغلب غیرمنتظره هستند. پیچیدگی پایین، شبیه به هوش مصنوعی به نظر میرسد.
- Burstiness (تغییرات آهنگ جملات): این معیار تنوع جملات را اندازهگیری میکند. انسانها جملات کوتاه و بلند را با هم ترکیب میکنند، اما هوش مصنوعی اغلب از ریتمی یکنواخت استفاده میکند. تنوع کم، شبیه به هوش مصنوعی به نظر میرسد.
- Classifiers (طبقهبندیکنندهها): این مدلها نمونههای انسانی و ماشینی را مطالعه میکنند و بر اساس الگوها حدس میزنند. اگر مدل با سبک نوشتاری جدیدی مواجه شود، دچار خطا میشود.
واترمارکینگ (Watermarking) روش دیگری است. این روش الگوها را در انتخاب کلمات پنهان میکند، اما اگر کسی متن را ویرایش یا بازنویسی (paraphrase) کند، این روش شکست میخورد.
این ابزارها نقصهای جدی دارند:
- نوشتههای خوب شبیه هوش مصنوعی به نظر میرسند. نثر شفاف، ساده و ساختارمند دارای پیچیدگی (perplexity) پایینی است. هرچه بهتر بنویسید، از نظر این ابزارها رباتیکتر به نظر میرسید.
- سوگیری علیه افراد غیرانگلیسیزبان. مطالعهای در دانشگاه استنفورد نشان داد که تشخیصدهندهها اغلب افراد غیرانگلیسیزبان را بیشتر علامتگذاری میکنند. عبارتپردازیهای ساده در نظر این ابزارها، شبیه به خروجی ماشینی است.
- فریب دادن آنها آسان است. استفاده از چند مترادف یا ویرایشهای جزئی، تشخیصدهنده را مختل میکند. این موضوع باعث میشود نویسندگان صادق مجازات شوند، در حالی که کاربران هوش مصنوعی با تلاش کم، از سد این ابزارها عبور میکنند.
حتی OpenAI در سال ۲۰۲۳ استفاده از تشخیصدهنده خود را متوقف کرد زیرا دقیق نبود. اگر سازندگان نمیتوانند هوش مصنوعی خود را تشخیص دهند، به ابزارهای شخص ثالثی که ادعای دقت بالا دارند، اعتماد نکنید.
چگونه از این امتیازها به طور ایمن استفاده کنیم:
- بر اساس یک امتیاز واحد تصمیم نگیرید. اتهام اشتباه میتواند آسیبهای واقعی به دانشآموزان یا جویندگان کار وارد کند.
- فرآیند را بررسی کنید. به جای تکیه بر امتیاز احتمال، به تاریخچه ویرایش و پیشنویسها نگاه کنید.
- عدم قطعیت را نشان دهید. اگر از این ابزارها استفاده میکنید، به جای برچسبهای دوگانه «انسان» یا «هوش مصنوعی»، یک بازه از میزان اطمینان را نمایش دهید.
تشخیصدهندههای هوش مصنوعی تطبیقدهنده الگو هستند. آنها برای دریافت سرنخ مفیدند، اما به عنوان مدرک خطرناک هستند.
Source: https://dev.to/ricco020/ai-text-detectors-are-mostly-guessing-how-they-actually-work-2ibl
Optional learning community: https://t.me/GyaanSetuAi