Модель — це не продукт. Ось що є продуктом насправді.
Я проводжу свій час, створюючи продукти та спілкуючись з інженерами, які впроваджують ШІ. Між демо-версіями та реальними продуктивними системами існує розрив. Багато хто не хоче визнавати цей розрив.
Кожен називає агентом усе підряд. Скрипт із циклом — це агент. Чат-бот із пам'яттю — це агент. Це призводить до інженерних помилок. Ви переускладнюєте прості завдання та недостатньо пропрацьовуєте складні.
Агенту потрібна мета. Він не просто виконує інструкцію. Агент сам вирішує, що робити далі. Він обробляє помилки. Він знає, коли завдання виконано.
- Якщо людина вказує вашій системі кожен крок, це чат-інтерфейс.
- Якщо ваша система відновлюється після невдалого виклику інструменту, ви будуєте агента.
- Якщо ваша система розбиває мету на підзавдання, це справжній агент.
Реальне розгортання агентів є вузькоспеціалізованим. Вони добре виконують одну річ, наприклад, вилучення даних із документів або перевірку коду. Успішні команди не полюють за новими моделями. Вони зосереджуються на цих трьох сферах:
- Проєктування інструментів: наскільки чистим є інтерфейс?
- Обробка помилок: що відбувається, коли інструмент нічого не повертає?
- Спостережуваність (Observability): чи можете ви відстежити, чому агент прийняв саме таке рішення?
Фреймворки на кшталт LangChain або CrewAI мають менше значення, ніж патерни. Фреймворк — це риштування. Архітектура — це будівля.
Використовуйте ці патерни:
- Планування, а потім виконання. Використовуйте один крок для планування та окремий крок для виконання.
- Відокремлення пошуку (retrieval) від міркування (reasoning). Отримання контексту та використання контексту — це різні завдання.
- Явна передача завдань (handoffs). Структуруйте процес передачі, коли один агент передає роботу іншому.
RAG є стандартом, але чанкування (chunking) часто виконується неправильно. Якщо ви погано розбиваєте документи на частини, модель втрачає контекст і галюцинує. Якщо результати RAG марні, виправте чанкування та метадані. Не звинувачуйте модель ембедінгу (embedding model).
Моделі ставатимуть кращими. Контекстні вікна зростатимуть. Витрати знижуватимуться. Це не змінює інженерного виклику. Ви повинні будувати системи, яким можна довіряти, навіть коли ви не стежите за ними.
Зосередьтеся на управлінні (governance), спостережуваності (observability) та використанні інструментів. Справді важливими будуть ті інженери, які опанують проєктування систем, а не лише промпт-інжиніринг.
Джерело: https://dev.to/aibughunter/the-model-is-not-the-product-heres-what-actually-is-52b5