Ваш ИИ-агент не сломан. Сломана истина в вашей компании.

У ИИ-агента была всего одна задача. Ему нужно было оплатить одобренный счет поставщика. Финансовый отдел хотел перестать делать это вручную.

Во вторник агент взял в работу счет на 48 000 Ksh. ERP-система пометила его как одобренный и неоплаченный. Агент проверил правила. Все условия соблюдены. Он оплатил счет.

Проблема? Счет уже был оплачен человеком в прошлый четверг.

Ни одна система не была неправа, но они противоречили друг другу:

• ERP утверждала, что счет не оплачен, так как синхронизация с банком не удалась. • Банковская выписка говорила, что он оплачен. • В ветке Slack было сказано приостановить все платежи этому поставщику. • В электронном письме от поставщика подтверждалось, что деньги получены.

Каждая система владела лишь частью пазла. Но ни одна не могла ответить на единственный важный вопрос: оплачен ли именно этот счет?

Человек-бухгалтер заметил бы это. Не потому, что он умнее, а потому, что он чувствует «трение». Человек помнит о задаче или замечает сообщение в Slack. Люди служат связующим звеном между разрозненными системами. Мы привносим человеческое суждение.

У ИИ-агентов нет инстинктов. Они считывают данные со скоростью машины. Они видят «Одобрено» и «Не оплачено» — и действуют. Они не чувствуют, что что-то не так.

Агент не потерпел неудачу. Он сработал именно так, как было задумано. Провал — это то, что я называю эпистемическим коллапсом.

Большинство компаний пытаются исправить агентов с помощью более качественных промптов или более совершенных моделей. Это неверный шаг. Вы не сможете с помощью промптов получить информацию, которой просто нет в ваших данных.

Настоящая проблема — отсутствие эпистемической инфраструктуры.

Данные — это то, что хранят ваши системы. Истина — это то, что происходит на самом деле. У большинства компаний полно данных, но ноль истины.

Современные системы смешивают в одном поле три разные вещи:

  • Наблюдение: то, что, по словам системы, произошло.
  • Истина: то, что является правдой на самом деле.
  • История: то, что было правдой раньше.

Когда база данных выдает «Статус: Не оплачено», она стирает историю и сомнения. Она преподносит одно-единственное наблюдение как абсолютную истину.

ИИ-агенты — это стресс-тест для этой старой проблемы. Они убирают людей, которые ежедневно молча исправляли эти противоречия. Без людей, заполняющих пробелы, трещины в ваших данных превращаются в дорогостоящие ошибки.

Перестаньте пытаться создавать лучших агентов. Начните строить слой под ними. Вам нужна система, которая отслеживает наблюдения, распознает несоответствия и выявляет устаревшие данные.

Пока вы не создадите слой истины, ваши агенты будут продолжать безупречно выполнять неверные задачи.

Источник: https://dev.to/code_with_mwai/your-ai-agent-isnt-broken-your-companys-truth-is-2cl8

Дополнительное обучающее сообщество: https://t.me/GyaanSetuAi