Создание ИИ-агентов, которые не галлюцинируют
Большинство ИИ-агентов терпят неудачу в продакшене. Они выдумывают названия функций. Они ошибаются в параметрах. Они вызывают не те инструменты.
Вызов функций (function calling) должен это предотвращать. На деле же он часто заставляет агентов уверенно ошибаться в масштабе.
Чтобы это исправить, не нужны более крупные модели. Нужна лучшая архитектура.
Следуйте этим четырем паттернам для создания надежных агентов:
Используйте двухэтапный роутер Не передавайте модели 15 инструментов одновременно. Это приводит к раздуванию схемы (schema bloat). Вместо этого сначала используйте быструю и дешевую модель для классификации намерения (intent). Как только намерение определено, показывайте только релевантные инструменты. Это снижает количество ошибок на 60–70%.
Принудительно используйте структурированные выходные данные Перестаньте просить модели возвращать валидный JSON через промпты. Используйте принудительное соблюдение схемы (schema enforcement) на уровне API. Схема всегда побеждает 500-словный промпт. Она гарантирует, что модель следует вашим правилам.
Создавайте уровни валидации Каждый вызов инструмента требует трех шагов:
- Предварительная валидация (Pre-validation)
- Выполнение моделью (Model execution)
- Пост-валидация (Post-validation)
Если вызов инструмента не проходит валидацию, отправьте ошибку обратно модели. Модели исправляют свои ошибки в параметрах в 80% случаев со второй попытки.
- Устанавливайте жесткие лимиты Бесконечные циклы съедают ваш бюджет. Модель может вызывать инструменты в цикле, пока не сработает таймаут. Всегда устанавливайте максимальное количество итераций. Жесткие лимиты — это требование, а не опция.
Оптимизируйте свои расходы, используя разные модели для разных задач:
- Используйте маленькие модели для маршрутизации намерений и форматирования вывода.
- Используйте модели среднего уровня для выбора инструментов.
- Используйте передовые (frontier) модели только для сложного планирования.
Этот подход снижает затраты в 10–15 раз почти без потери качества.
Надежный ИИ — это вопрос проектирования систем. Сосредоточьтесь на ограничениях, валидации и оркестрации.
Какие паттерны используете вы для создания надежных агентов?