Створення безсерверного сервісу вебпошуку для ШІ-агентів
ШІ-агентам потрібен вебпошук, щоб знаходити актуальні факти.
Коли багато команд розробляють агентів, вони часто використовують різних провайдерів пошуку. Це створює хаос. Ви отримуєте різні API, різні витрати та фрагментовані інструменти.
У PostNL ми вирішили цю проблему, створивши централізований сервіс пошуку на AWS.
Ми побудували систему, яка працює наступним чином:
• Єдиний інтерфейс для всіх команд. • Підтримка багатьох бекендів пошуку. • Мінімальні операційні зусилля. • Низька вартість. • Можливість змінювати провайдерів без порушення роботи системи.
Наша архітектура використовує рівень маршрутизації. Цей рівень знаходиться між вашим ШІ-додатком і провайдером пошуку.
Основні компоненти системи:
- API Gateway: забезпечує приватну точку входу для авторизованих користувачів.
- AWS Lambda: запускає легкий маршрутизатор, написаний на Go.
- ECS Fargate: хостить наш початковий бекенд пошуку з використанням SearXNG.
Ми обрали Go для маршрутизатора, тому що він швидкий і споживає мало пам'яті. Він ідеально працює як невелика Lambda-функція. Така конфігурація масштабується автоматично відповідно до зростання навантаження.
Ми також використали гексагональну архітектуру. Це означає, що основній логіці байдуже, який пошуковий двигун ви використовуєте. Сьогодні ми використовуємо SearXNG. Завтра ми зможемо переключитися на комерційного провайдера, просто додавши новий адаптер. Користувачі навіть не помітять змін.
Мета проста. Ми надаємо дані пошуку. ШІ-агент відповідає за логічне мислення та формування відповідей.
Централізуючи цей сервіс, команди перестають турбуватися про пошукові API та починають зосереджуватися на створенні кращих ШІ-рішень.
Optional learning community: https://t.me/GyaanSetuAi