Amazon Bedrock AgentCore Web Search: 7 помилок, що вбивають агентів у продакшені
Більшість AI-команд припустилися помилки у 2024 році. Вони побудували RAG-пайплайни, які покладаються на статичні дані.
Статичний RAG-пайплайн — це як фотографія інтернету. Він застаріває в ту саму мить, коли ви його робите. AWS щойно змінила це за допомогою Web Search в Amazon Bedrock AgentCore.
Цей інструмент дозволяє вашим агентам використовувати актуальні дані без необхідності будувати власну інфраструктуру пошуку. Проте багато команд зазнають невдачі під час розгортання.
Ось 7 помилок, яких слід уникати:
Використання Web Search замість RAG. Web Search призначений для поточних подій та цін. RAG — для ваших внутрішніх корпоративних документів. Використовуйте роутер, щоб обирати правильний шлях для кожного запиту.
Припущення, що Bedrock Guardrails охоплюють Web Search. Це не так. Web Search — це окремий шлях. Ви повинні самостійно налаштувати засоби контролю політик AgentCore, такі як білі списки доменів (domain allowlists) та очищення PII (PII scrubbing).
Виконання надлишкових пошуків у мультиагентних системах. У таких фреймворках, як AutoGen, кожен субагент може викликати пошук окремо. Це збільшує ваші витрати у 4–8 разів. Замість цього використовуйте спільну пам'ять пошуку (shared search memory).
Ігнорування пастки «заморожених знань» (Frozen Knowledge Trap). Не звинувачуйте свою модель, коли вона дає застарілі відповіді. Проблема, швидше за все, у вашій архітектурі даних. Якщо відповідь змінюється щотижня, вам потрібен живий пошук.
Ігнорування спостережуваності (observability). Якщо ваш агент галюцинує, ви повинні знати чому. Це був поганий результат пошуку чи помилка моделі? Використовуйте Langfuse, щоб відстежувати кожен крок.
Жорстке кодування (hardcoding) під конкретні ендпоінти. AWS оновлюватиме ці інструменти.