מזהי AI רק מנחשים
מזהי AI מסמנים לעיתים קרובות כתיבה אנושית ככתיבה ממוחשבת. חברות רבות משתמשות בכלים אלו לצורך גיוס עובדים או ציונים. הן מתייחסות לציון כאל עובדה. זו אינה עובדה.
כלים אלו אינם קוראים את הטקסט שלכם כדי להבין את המשמעות שלו. הם משתמשים במתמטיקה כדי לנחש את ההסתברות לכך שהפלט הוא ממוחשב.
הם בוחנים שלושה דברים עיקריים:
- Perplexity: מדד זה בוחן עד כמה המילים שלכם צפויות. AI בוחר את המילה הבאה הסבירה ביותר. כתיבה אנושית היא לעיתים קרובות בלתי צפויה. Perplexity נמוך נראה כמו AI.
- Burstiness: מדד זה בוחן את הגיוון במשפטים. בני אדם מערבבים משפטים קצרים וארוכים. AI משתמש לעיתים קרובות בקצב קבוע. גיוון נמוך נראה כמו AI.
- Classifiers: מודלים אלו לומדים דגימות של בני אדם ומכונות. הם מנחשים על בסיס תבניות. אם המודל נתקל בסגנון כתיבה חדש, הוא נכשל.
Watermarking (סימון מים) היא שיטה נוספת. היא מסתירה תבניות בבחירת המילים. שיטה זו נכשלת אם מישהו עורך או מנסח מחדש את הטקסט.
לכלים אלו פגמים חמורים:
- כתיבה טובה נראית כמו AI. פרוזה ברורה, פשוטה ומובנית היא בעלת Perplexity נמוך. ככל שאתם כותבים טוב יותר, כך אתם נראים רובוטיים יותר עבור הכלי.
- הטיות נגד דוברי שפה שאינה שפת אם. מחקר של אוניברסיטת סטנפורד מצא שמזהים מסמנים דוברי אנגלית שאינם דוברי שפת אם בתדירות גבוהה יותר. ניסוח פשוט נראה לכלי אלו כמו פלט ממוחשב.
- קל להטעות אותם. שימוש בכמה מילים נרדפות או עריכה קלה שוברת את המזהה. זה מעניש כותבים ישרים בזמן שמאפשר למשתמשי AI בעלי מאמץ מינימלי לעבור.
אפילו OpenAI הפסיקה להשתמש במזהה שלה בשנת 2023 מכיוון שהוא לא היה מדויק. אם היוצרים עצמם אינם יכולים לזהות את ה-AI שלהם, אל תסמכו על כלי צד שלישי שטוען לדיוק גבוה.
כיצד להשתמש בציונים אלו בבטחה:
- אל תפעלו על סמך ציון בודד. האשמה שגויה גורמת נזק ממשי לסטודנטים או למחפשי עבודה.
- בדקו את התהליך. חפשו היסטוריית עריכות וטיוטות במקום להסתמך על ציון הסתברות.
- הציגו אי-ודאות. אם אתם משתמשים בכלים אלו, הציגו טווח של רמת ביטחון במקום תווית בינארית של אדם או AI.
מזהי AI הם מחפשי תבניות. הם שימושיים כרמזים אך מסוכנים כהוכחה.
Source: https://dev.to/ricco020/ai-text-detectors-are-mostly-guessing-how-they-actually-work-2ibl
Optional learning community: https://t.me/GyaanSetuAi