Budowanie bezserwerowej usługi wyszukiwania w sieci dla agentów AI
Agenci AI potrzebują wyszukiwania w sieci, aby znajdować aktualne fakty.
Gdy wiele zespołów buduje agentów, często korzystają z różnych dostawców wyszukiwania. Tworzy to chaos. Kończysz z różnymi API, różnymi kosztami i rozproszonymi narzędziami.
W PostNL rozwiązaliśmy ten problem, budując scentralizowaną usługę wyszukiwania na AWS.
Zbudowaliśmy system, który działa w następujący sposób:
• Pojedynczy interfejs dla wszystkich zespołów. • Obsługa wielu silników wyszukiwania (backendów). • Niska pracochłonność operacyjna. • Niskie koszty. • Możliwość zmiany dostawców bez przerywania działania systemu.
Nasza architektura wykorzystuje warstwę routingu. Warstwa ta znajduje się pomiędzy Twoją aplikacją AI a dostawcą wyszukiwania.
Kluczowe elementy systemu:
- API Gateway: Zapewnia prywatny punkt wejścia dla autoryzowanych użytkowników.
- AWS Lambda: Uruchamia lekki router napisany w języku Go.
- ECS Fargate: Hostuje nasz początkowy backend wyszukiwania przy użyciu SearXNG.
Wybraliśmy język Go dla routera, ponieważ jest szybki i zużywa mało pamięci. Doskonale sprawdza się jako mała funkcja Lambda. Taka konfiguracja skaluje się automatycznie wraz ze wzrostem intensywności użytkowania.
Zastosowaliśmy również architekturę heksagonalną. Oznacza to, że logika rdzenia nie zależy od tego, jakiej wyszukiwarki używasz. Dziś korzystamy z SearXNG. Jutro możemy przejść na komercyjnego dostawcę, po prostu dodając nowy adapter. Użytkownicy nigdy nie zauważą zmiany.
Cel jest prosty. My dostarczamy dane z wyszukiwania. Agent AI zajmuje się wnioskowaniem i udzielaniem odpowiedzi.
Dzięki scentralizowaniu tej usługi zespoły przestają martwić się o API wyszukiwarek i mogą skupić się na budowaniu lepszych rozwiązań AI.
Optional learning community: https://t.me/GyaanSetuAi