Как мы используем ИИ, не искажая факты

ИИ может сказать вам, что у инструмента есть бесплатный тариф, хотя его нет. Он может указать старую цену или функцию, которой не существует. Это не опечатки. Модель просто заполняет пробелы словами, которые выглядят уместно.

Если вы публикуете обзоры, такая ошибка опасна. Она заставляет ваших читателей подписываться на неподходящие тарифные планы.

Мы используем ИИ для написания наших статей. Мы сообщаем каждый раз, когда ИИ участвует в создании поста. Наша цель — не дать ИИ выдумывать факты. Вот наш процесс.

Мы разделяем две задачи. Мы не позволяем ИИ выполнять обе сразу.

  • Задача 1: Написание текста.
  • Задача 2: Поиск фактов.

ИИ может выполнять первую задачу. Ему никогда не разрешается выполнять вторую.

Каждый факт в наших обзорах взят из источника, который мы проверяем сами. Мы изучаем страницы с ценами, журналы изменений (changelogs) и документацию. Мы заносим эти факты в документ с заметками, указывая URL и дату. Только после этого ИИ пишет текст вокруг этих фактов.

Наши промпты отличаются. Большинство людей спрашивают: «Расскажи мне о ценах этого инструмента». Мы говорим: «Вот четыре факта о ценах, проверенные сегодня. Используй только эти факты, чтобы написать абзац. Сообщи мне, если захочешь добавить что-то еще».

Это превращает стремление ИИ к лжи в список, который человек должен проверить.

Мы следуем этим правилам:

  • Мы не доверяем числам без указания источника. Любая цена, лимит или дата считаются недостоверными, пока мы не докажем обратное с помощью первоисточника.
  • Мы не позволяем ИИ ссылаться на источники. Если ИИ говорит «согласно исследованию», мы удаляем это, если у нас нет прямой ссылки.
  • Мы используем ИИ для структуры. Он помогает нам систематизировать заметки, исправлять грамматику или создавать каркасы таблиц. Эти задачи не требуют от ИИ знания реальных фактов.
  • Мы проводим две отдельные проверки. Первая проверка — на качество. Вторая проверка — только на утверждения. Мы спрашиваем: «Откуда взялось это конкретное предложение?» Если его нет в наших заметках, мы его удаляем.

Обзор может быть верным сегодня, но стать неверным через три месяца. Инструменты меняют цены. Мы сохраняем ссылки на источники с датами, чтобы иметь возможность проверять наши факты по графику.

Система проста:

  • ИИ пишет.
  • Люди отвечают за факты.
  • У каждого утверждения есть источник с датой.
  • Мы проверяем всё дважды перед публикацией.

Не требуйте от ИИ того, чего он не может делать.

Источник: https://dev.to/pickuma/how-we-use-ai-without-letting-it-hallucinate-into-reviews-1of5