Перестаньте спрашивать LLM, являются ли их источники реальными

Вы просите ИИ составить список источников. Он выдает вам названия, авторов и DOI. Все выглядит идеально. А затем вы обнаруживаете, что половины из них не существует.

DOI никуда не ведет. Статья никогда не была написана.

Ваш инстинкт подсказывает спросить модель: «Ты уверен, что это правда?» ИИ ответит «да». Он всегда отвечает «да». Вы спрашиваете фальсификатора, подлинны ли его работы.

LLM не использует базу данных научных работ. Она предсказывает следующее слово в последовательности. Для ИИ цитата — это просто паттерн. Он знает, что в цитате должны быть имя, год и десять цифр. Он имитирует структуру реального источника, не содержащей истины.

Перестаньте просить модель проверять собственную работу. Она не может этого сделать по двум причинам:

  • У нее нет доступа к актуальным реестрам. Она лишь генерирует правдоподобный текст.
  • У нее есть склонность подтверждать то, что она уже сказала.

Для проверки информации необходимо использовать внешние инструменты. Вот трехэтапный фильтр для технического письма:

  1. Существование. Проверьте DOI через API, например, Crossref. Если API возвращает ошибку 404, источник поддельный. Выдуманный DOI никогда не будет разрешен.

  2. Авторитетность. Источник может существовать, но при этом не иметь никакой ценности. Проверьте, признан ли журнал или конференция. Валидный DOI не гарантирует качество.

  3. Соответствие. Действительно ли статья подтверждает ваш тезис? Вы должны прочитать содержание. Не полагайтесь на то, что аннотация охватывает все детали. Реальная цитата, использованная для ложного утверждения, — это все равно ложь.

Это относится не только к научным работам. Если ИИ ссылается на тикет в JIRA, номер CVE или коммит в коде, вы должны проверить это в реальной системе.

Самая большая ошибка в архитектуре ИИ — доверие модели в вопросе самопроверки. Верификация должна быть отдельным этапом. Она должна подключаться к внешнему источнику истины до того, как пользователь увидит результат.

Не пытайтесь сделать модели более честными. Они — генераторы текста, и они всегда будут галлюцинировать. Вместо этого перестаньте верить им на слово.

Цитата, которую нельзя проверить по реестру, — это не цитата. Это просто догадка в лабораторном халате.

Source: https://dev.to/ohugonnot/stop-asking-the-llm-whether-its-source-is-real-2oaa

Optional learning community: https://t.me/GyaanSetuAi