Каскад конфабуляций

Мой ИИ-агент зациклился.

Он писал SQL-запрос с вымышленным именем столбца. База данных возвращала ошибку. Сообщение об ошибке содержало список реальных столбцов. Агент читал исправление. А затем снова писал то же самое неверное имя столбца.

Я называю это каскадом конфабуляций.

Это не проблема модели. Это проблема проектирования инструментов.

Вот как работает этот цикл:

  • Агент генерирует запрос на основе своего обучения.
  • Запрос завершается ошибкой.
  • Сообщение об ошибке дает истину.
  • Агент видит истину, но вместо этого полагается на свои внутренние знания.
  • Агент повторяет ошибку.

Агент сталкивается с двумя сигналами. Один сигнал — это сообщение об ошибке. Другой сигнал — обучение модели. Обучение зачастую сильнее. Сообщение об ошибке появляется лишь однажды. Обучение же проявляется в каждом слове, которое пишет модель.

Я пытался исправить это с помощью промпт-инжиниринга. Я просил модель обращать внимание на ошибки. Это не сработало.

Настоящая проблема заключалась в том, что мой агент мог учиться только на ошибках. У него не было возможности проверить структуру таблицы перед тем, как действовать. Ему приходилось гадать.

Если вы даете человеку API, вы даете ему документацию. Вы не заставляете его отправлять некорректные запросы до тех пор, пока сообщения об ошибках не обучат его схеме.

Я решил это, создав проактивный инструмент. Вместо того чтобы ждать ошибки, агент теперь сначала вызывает инструмент describe_table.

Новый рабочий процесс:

  • Агент хочет выполнить запрос к таблице.
  • Агент вызывает describe_table, чтобы увидеть реальные столбцы.
  • Агент получает правильные имена и типы данных.
  • Агент пишет правильный запрос с первой попытки.

Цикл прервался. Модель не стала умнее. Агент просто перестал гадать.

Если ваши агенты используют базы данных или API, задайте себе вопрос: могут ли они проверить структуру перед тем, как действовать? Или они учатся только на ошибках?

Реактивные подсказки об ошибках — это хорошо. Но этого недостаточно. Агент, который учится только через неудачи, всегда находится в одном шаге от галлюцинации.

Создавайте инструменты, которые позволяют агентам задавать вопросы до того, как они совершат ошибку.

Source: https://dev.to/niclydon/the-confabulation-cascade-when-your-agent-learns-nothing-from-its-own-mistakes-m08

Optional learning community: https://t.me/GyaanSetuAi