Припиніть питати LLM, чи їхні джерела справжні

Ви просите ШІ надати список джерел. Він видає вам назви, авторів та DOI. Все виглядає ідеально. Потім ви з'ясовуєте, що половини з них не існує.

DOI нікуди не веде. Стаття ніколи не була написана.

Ваш інстинкт підказує запитати модель: «Ви впевнені, що це справді?» ШІ відповість «так». Він завжди каже «так». Ви питаєте фальсифікатора, чи його робота автентична.

LLM не використовує базу даних наукових праць. Вона передбачає наступне слово в послідовності. Для ШІ цитування — це просто патерн. Він знає, що для цитування потрібні ім'я, рік і десять цифр. Він імітує форму справжнього джерела, не містячи в собі істини.

Припиніть просити модель перевіряти власну роботу. Вона не може цього зробити з двох причин:

  • Вона не має доступу до живого реєстру. Вона лише генерує правдоподібний текст.
  • Вона схильна підтверджувати те, що вже сказала.

Ви повинні використовувати зовнішні інструменти для перевірки інформації. Ось триетапний фільтр для технічного письма:

  1. Існування. Перевірте DOI через API, наприклад Crossref. Якщо API повертає помилку 404, джерело є фейковим. Вигаданий DOI ніколи не спрацює.

  2. Достовірність. Джерело може існувати, але все одно бути нікчемним. Перевірте, чи є журнал або конференція визнаними. Валідний DOI не гарантує якості.

  3. Відповідність. Чи справді стаття підтверджує ваше твердження? Ви повинні прочитати зміст. Не припускайте, що анотація охоплює всі деталі. Справжнє цитування, використане для хибного твердження, — це все одно брехня.

Це стосується не лише наукових праць. Якщо ШІ цитує JIRA-тікет, номер CVE або коміт коду, ви повинні перевірити це в реальній системі.

Найбільша помилка в архітектурі ШІ — довіра до самоперевірки моделі. Перевірка має бути окремим кроком. Вона повинна підключатися до зовнішнього джерела істини перед тим, як користувач побачить результат.

Не намагайтеся зробити моделі чеснішими. Вони є генераторами тексту і завжди будуть галюцинувати. Замість цього припиніть вірити їм на слово.

Цитування, яке ви не можете перевірити за реєстром, — це не цитування. Це просто здогад у лабораторному халаті.

Джерело: https://dev.to/ohugonnot/stop-asking-the-llm-whether-its-source-is-real-2oaa

Додаткова спільнота для навчання: https://t.me/GyaanSetuAi