Як зупинити ШІ від помилкового маркування висновків як фактів

Агенти ШІ для досліджень часто змішують факти з припущеннями. Вебсторінка може вказувати ринкову вартість. Потім агент робить висновок, що ринок швидко зростає. Обидва твердження виглядають однаково у фінальному тексті. Таке змішування даних та думок є небезпечним.

Це неможливо виправити кращими промптами. Промпти є ймовірнісними. Під тиском модель почне вгадувати.

Рішення є структурним. Перенесіть прийняття рішень з LLM у свій код.

Розділіть роботу на дві частини:

LLM виконує:

  • Витягує твердження зі сторінки.
  • Підсумовує текст.

Детермінований код виконує:

  • Оцінює твердження.
  • Перевіряє джерела на відповідність.
  • Маркує твердження як ФАКТ або ВИСНОВОК.
  • Визначає, чи є дані актуальними.

Твердження отримує маркування ФАКТ лише тоді, коли воно відповідає суворим правилам. Наприклад, воно має походити з двох незалежних джерел або одного офіційного API. Все інше стає ВИСНОВКОМ.

Використовуйте такий пайплайн:

  1. ПЛАНУВАННЯ: Перетворіть запитання на підзапити.
  2. ЗБІР: Отримайте дані з кількох шляхів.
  3. НОРМАЛІЗАЦІЯ: Використовуйте LLM для витягування структурованих тверджень. Це єдиний крок, де використовується LLM.
  4. ПІДТВЕРДЖЕННЯ: Згрупуйте твердження та підрахуйте кількість незалежних джерел.
  5. ОЦІНКА: Застосуйте правила для призначення маркувань.
  6. ВІДОБРАЖЕННЯ: Покажіть факти, висновки та відсутню інформацію.

Незалежність є ключовим фактором. Один блог, що цитує інший блог, — це не два джерела. Вам потрібні різні домени або офіційний API, щоб підтвердити факт.

Дотримуйтесь цих правил для створення надійного агента:

  • Використовуйте ескалацію: спочатку спробуйте пошук у вебі. Переходьте до новинних рушіїв або академічного пошуку лише у разі невдачі першого кроку.
  • Відстежуйте актуальність: маркуйте старі дані як застарілі. Не дозволяйте старим фактам видаватися актуальними.
  • Виявляйте прогалини: перелічуйте те, що не вдалося знайти. «Мовчазна» прогалина — це невдача.
  • Забезпечте відтворюваність: один і той самий запит має щоразу давати однакові маркування. Якщо маркування змінюються, це означає, що дані оцінює LLM. Замініть цей виклик LLM на функцію.

Цей метод дозволяє моделі робити те, що вона вміє найкраще: читати та витягувати інформацію. Він не дає моделі самостійно вирішувати, що є правдою.

Джерело: https://dev.to/hexisteme/how-to-make-an-ai-research-agent-label-facts-vs-inferences-a-deterministic-provenance-pipeline-5dfn

Додаткова спільнота для навчання: https://t.me/GyaanSetuAi