Перестаньте дообучать свою модель. Проблема в вашей архитектуре.

Демонстрации выглядят отлично. Продакшн-системы выглядят иначе. Между ними существует разрыв.

Сейчас всё называют агентом. Чат-бот с памятью — это агент. Скрипт с циклом — это агент. Эта ошибка приводит к инженерным просчетам. В итоге вы переусложняете простые задачи и недорабатываете в сложных.

Агенту нужна цель. Он не просто следует инструкции. Он сам решает, что делать дальше. Он обрабатывает ошибки. Он знает, когда нужно остановиться.

Используйте эти правила, чтобы проверить свою систему:

  • Если человек должен направлять каждый шаг, это чат-интерфейс.
  • Если система восстанавливается после неудачного вызова инструмента, это агент.
  • Если она разбивает цель на подзадачи, это настоящий агент.

Успешные команды не гонятся за новыми моделями. Они строят узкоспециализированные, целевые пайплайны. Они фокусируются на трех вещах:

  • Проектирование инструментов: насколько чист интерфейс?
  • Обработка ошибок: что происходит, когда инструмент ничего не возвращает?
  • Наблюдаемость (observability): можете ли вы отследить каждое решение?

Фреймворк, который вы используете, менее важен, чем ваши паттерны. Я перестраивал архитектуры на разных фреймворках, и результаты были одинаковыми. Фреймворк — это строительные леса. Архитектура — это само здание.

Следуйте этим паттернам:

  • Сначала планируйте, затем исполняйте. Используйте один шаг для рассуждений и отдельный шаг для действий.
  • Отделяйте поиск (retrieval) от рассуждений. Извлечение контекста и использование контекста — это разные задачи.
  • Используйте явную передачу управления (handoffs). Когда один агент передает работу другому, используйте структурированные логи.

RAG — это стандарт, но чанкинг (chunking) часто выполняется неправильно. Если вы плохо разделяете документы, модель теряет контекст. Это приводит к галлюцинациям.

Если ваш RAG-пайплайн выдает бесполезные результаты, проверьте чанкинг и метаданные. Не вините модель эмбеддингов (embedding model).

Инженерная задача заключается в создании систем, которым можно доверять. Сосредоточьтесь на управлении (governance), наблюдаемости (observability) и надежном использовании инструментов. Не гоняйтесь просто за бенчмарками.

Лучшие инженеры будут фокусироваться на проектировании систем. Они будут создавать ИИ-системы, которые другие смогут поддерживать и которым смогут доверять.

Источник: https://dev.to/aibughunter/stop-fine-tuning-your-model-your-architecture-is-the-problem-3kkg