Кризис надежности детекторов ИИ: одни инструменты справляются, другие полностью проваливаются
Недавнее исследование Гильдии авторов (Authors Guild) выявило огромный разрыв в надежности детекторов ИИ-текстов. Выяснилось, что в то время как одни инструменты демонстрируют высокую точность, другие имеют фундаментальные изъяны. Такая нестабильность представляет серьезную угрозу для профессиональных писателей, чье благополучие зависит от возможности доказать, что их работы созданы человеком.
Разрыв в эффективности: от совершенства до полного провала
Гильдия авторов провела тщательное тестирование, используя десять статей, опубликованных в период с 2020 по 2022 год — за годы до того, как генеративный ИИ стал массовым явлением. Использование человеческих текстов «эпохи до ИИ» позволило создать чистую базу для измерения частоты ложноположительных результатов.
Результаты оказались полярными. Pangram и Grammarly зарекомендовали себя как самые надежные инструменты, безошибочно определив каждый текст, написанный человеком, как человеческий (0,0% вероятности ИИ). Originality.ai также показал высокие результаты, сохраняя точность по всем показателям.
В резком контрасте с ними, Sidekicker.ai потерпел сокрушительный провал. Каждая статья, написанная человеком, была помечена как «в основном созданная ИИ», при этом две конкретные статьи получили 100% показатель ИИ. ZeroGPT также оказался ненадежным, часто выдавая высокий процент вероятности ИИ для текстов, которые были бесспорно человеческими — например, статья об «Эрдрич и Пулитцеровской премии» получила от него отметку в 76,3% вероятности ИИ.
Парадокс профессионального письма
Исследование подчеркивает тревожный технический парадокс: чем более искусным является писатель, тем выше вероятность того, что его текст будет помечен ошибочными детекторами. Профессиональное письмо опирается на ясность, лаконичность и точность — именно те статистические закономерности, которым обучаются имитировать большие языковые модели (LLM).
Поскольку модели ИИ обучаются на высококачественной человеческой прозе, «отпечаток» мастерски написанного предложения может выглядеть почти идентично тексту, созданному ИИ. Это создает ситуацию с высокими ставками, когда писатель, потративший десятилетия на оттачивание своего мастерства, может потерять контракты или испортить репутацию из-за ложноположительного результата такого инструмента, как Sidekicker.
Проблема «черного ящика» и будущее детектирования
Даже успешные инструменты подвергаются критике за отсутствие прозрачности. Генеральный директор Pangram Макс Сперо отметил, что его детектор работает по принципу «черного ящика», то есть не может предоставить подробного объяснения того, почему конкретный текст был помечен. Хотя он утверждает, что люди пишут с большим разнообразием и структурой аргументации, чем однообразные LLM, отсутствие интерпретируемости остается препятствием для обеспечения подотчетности.
Более того, успех Pangram и Grammarly в этом тесте в первую очередь доказывает, что они хорошо справляются с избеганием ложноположительных результатов (не помечают людей). Это не обязательно гарантирует, что они столь же эффективны в выявлении ИИ (распознавании машинного текста).
Пока индустрия пытается провести грань между «использованием ИИ для написания» и «использованием ИИ для мышления», Гильдия авторов предупреждает, что инструменты детектирования никогда не должны быть единственным основанием для принятия профессиональных решений.
Основные выводы
- Экстремальная разница в точности: В то время как Pangram и Grammarly в ходе теста достигли 0% ложноположительных результатов, Sidekicker.ai пометил 100% человеческого текста как созданный ИИ.
- Штраф за профессионализм: Высококачественное, точное человеческое письмо имеет статистическое сходство с результатами работы ИИ, что делает опытных авторов уязвимыми для ошибок детектирования.
- Призыв к человеческому контролю: Гильдия авторов советует издателям использовать детекторы только как вспомогательные инструменты и предоставлять авторам возможность защитить свои работы.