AI-детекторы лишь гадают

AI-детекторы часто помечают тексты, написанные человеком, как созданные машиной. Многие компании используют эти инструменты при найме сотрудников или оценивании работ. Они воспринимают полученный балл как факт. Но это не факт.

Эти инструменты не вчитываются в смысл вашего текста. Они используют математические методы, чтобы угадать вероятность того, что текст был сгенерирован машиной.

Они опираются на три основных показателя:

  • Перплексия (Perplexity): этот показатель измеряет предсказуемость ваших слов. ИИ выбирает наиболее вероятное следующее слово. Человеческая речь часто бывает неожиданной. Низкая перплексия выглядит как работа ИИ.
  • Вариативность (Burstiness): этот показатель измеряет разнообразие предложений. Люди чередуют короткие и длинные предложения. ИИ часто использует монотонный ритм. Низкая вариативность выглядит как работа ИИ.
  • Классификаторы: эти модели изучают образцы текстов, написанных людьми и машинами. Они делают предположения на основе выявленных закономерностей. Если модель сталкивается с новым стилем письма, она ошибается.

Ватермаркинг (водяные знаки) — еще один метод. Он скрывает определенные закономерности в выборе слов. Этот метод перестает работать, если кто-то редактирует или перефразирует текст.

У этих инструментов есть серьезные недостатки:

  • Хороший текст похож на ИИ. Ясная, простая и структурированная проза обладает низкой перплексией. Чем лучше вы пишете, тем более «роботизированным» кажется ваш текст инструменту.
  • Предвзятость в отношении неносителей языка. Исследование Стэнфорда показало, что детекторы чаще помечают тексты людей, для которых английский не является родным. Простые формулировки воспринимаются этими инструментами как машинный вывод.
  • Легко обмануть. Несколько синонимов или легкая правка сбивают детектор с толку. Это наказывает честных авторов и позволяет проходить проверку тем, кто использует ИИ без особых усилий.

Даже OpenAI в 2023 году отказалась от использования собственного детектора из-за его неточности. Если сами создатели не могут распознать свой ИИ, не стоит доверять сторонним инструментам, заявляющим о высокой точности.

Как безопасно использовать эти показатели:

  • Не принимайте решений на основе одного лишь балла. Ложное обвинение может нанести реальный вред студентам или соискателям работы.
  • Проверяйте процесс. Вместо показателя вероятности изучайте историю правок и черновики.
  • Учитывайте фактор неопределенности. Если вы используете эти инструменты, показывайте диапазон уверенности вместо бинарной метки «человек» или «ИИ».

AI-детекторы — это инструменты сопоставления паттернов. Они полезны как подсказка, но опасны в качестве доказательства.

Источник: https://dev.to/ricco020/ai-text-detectors-are-mostly-guessing-how-they-actually-work-2ibl

Дополнительное обучающее сообщество: https://t.me/GyaanSetuAi