AI 에이전트를 위한 서버리스 웹 검색 서비스 구축하기
AI 에이전트는 최신 정보를 찾기 위해 웹 검색이 필요합니다.
여러 팀이 에이전트를 구축할 때, 각기 다른 검색 제공업체를 사용하는 경우가 많습니다. 이는 혼란을 야기합니다. 결국 서로 다른 API, 서로 다른 비용, 그리고 파편화된 도구들을 마주하게 됩니다.
PostNL에서는 AWS 상에 중앙 집중식 검색 서비스를 구축하여 이 문제를 해결했습니다.
저희는 다음과 같이 작동하는 시스템을 구축했습니다:
• 모든 팀을 위한 단일 인터페이스. • 다양한 검색 백엔드 지원. • 낮은 운영 부담. • 낮은 비용. • 기존 시스템에 영향을 주지 않고 제공업체를 변경할 수 있는 기능.
저희 아키텍처는 라우팅 레이어(routing layer)를 사용합니다. 이 레이어는 AI 애플리케이션과 검색 제공업체 사이에 위치합니다.
시스템의 핵심 구성 요소:
- API Gateway: 권한이 있는 사용자를 위한 프라이빗 엔트리 포인트를 제공합니다.
- AWS Lambda: Go로 작성된 경량 라우터를 실행합니다.
- ECS Fargate: SearXNG를 사용하는 초기 검색 백엔드를 호스팅합니다.
라우터로 Go를 선택한 이유는 속도가 빠르고 메모리 사용량이 적기 때문입니다. 이는 작은 Lambda 함수로서 완벽하게 작동합니다. 이 설정은 사용량이 늘어남에 따라 자동으로 확장됩니다.
또한 헥사고날 아키텍처(hexagonal architecture)를 사용했습니다. 이는 핵심 로직이 어떤 검색 엔진을 사용하는지 상관하지 않음을 의미합니다. 현재는 SearXNG를 사용하지만, 내일은 새로운 어댑터를 추가하는 것만으로 상용 제공업체로 전환할 수 있습니다. 사용자는 이러한 변화를 전혀 느끼지 못할 것입니다.
목표는 간단합니다. 저희는 검색 데이터를 제공하고, AI 에이전트가 추론과 답변을 처리합니다.
이 서비스를 중앙 집중화함으로써, 팀들은 검색 API에 대해 걱정하는 대신 더 나은 AI 솔루션을 구축하는 데 집중할 수 있게 되었습니다.
추가 학습 커뮤니티: https://t.me/GyaanSetuAi