𝗔𝗪𝗦 𝗪𝗲𝗯 𝗦𝗲𝗮𝗿𝗰𝗵 𝗼𝗻 𝗕𝗲𝗱𝗿𝗼𝗰𝗸 𝗔𝗴𝗲𝗻𝘁𝗖𝗼𝗿𝗲
AI 기술은 종종 잘못된 것을 최적화합니다.
대부분의 팀은 모델을 튜닝하지만, 실제 실패는 연결 과정에서 발생합니다. 문제는 지능이 아닙니다. 문제는 모델과 세상 사이의 핸드오프(handoffs)입니다.
AWS가 방금 Amazon Bedrock AgentCore에 Web Search 기능을 출시했습니다. 이는 에이전트를 구축하는 방식을 변화시킵니다.
지금까지 에이전트는 학습된 오래된 데이터에 갇혀 있었습니다. 실시간 웹 접속을 구현하려면 직접 스크래퍼를 구축하고, API 키를 관리하며, 속도 제한(rate limits)을 처리해야 했습니다. 이는 수주간의 엔지니어링 시간을 낭비하게 만듭니다.
새로운 AgentCore 도구는 관리형 레이어(managed layer)입니다. 신원 확인(identity), 스로틀링(throttling), 결과 그라운딩(result grounding)을 대신 처리해 줍니다. 이는 오픈 인터넷을 대상으로 하는 관리형 RAG입니다.
엔지니어에게 이것이 중요한 이유:
AI 에이전트의 어려운 점은 조정(coordination)입니다. 다음 사항들을 결정해야 합니다:
- 누가 웹을 호출할 수 있는가?
- 타임아웃 발생 시 어떤 일이 일어나는가?
- 오래된 데이터와 새로운 결과를 어떻게 조화시킬 것인가?
AI 조정 격차(AI Coordination Gap)는 실질적인 위험 요소입니다. 각 단계의 신뢰도가 97%인 6단계 파이프라인이 있다면, 전체 신뢰도는 83%로 떨어집니다. 노이즈가 많은 인터넷 환경이 더해지면 이는 더욱 어려워집니다.
성공하기 위해서는 다음 다섯 가지 레이어를 설계해야 합니다:
- Retrieval (검색): 모델이 정확히 언제 검색해야 하는지 알 수 있도록 명확한 규칙을 정의합니다.
- Identity (신원): 에이전트의 보안을 유지하기 위해 범위가 제한된 자격 증명(scoped credentials)을 사용합니다.
- Fetching (가져오기): 관리형 검색을 사용하여 순위가 매겨진 깨끗한 결과를 얻습니다.
- Memory (메모리): 모델이 오래된 컨텍스트보다 최신 데이터를 우선하도록 지시합니다.
- Recovery (복구): 에이전트가 무한 루프에 빠져 예산을 낭비하지 않도록 서킷 브레이커(circuit breakers)를 사용합니다.
웹 검색은 정확도 도구가 아니라 신선도(freshness) 도구입니다. 인터넷은 노이즈가 많습니다. 조정 레이어가 취약하다면 웹을 탐색할 수 있는 에이전트가 오히려 더 자주 실패할 수도 있습니다.
AI로 승리하는 기업들은 가장 큰 모델을 사용하는 기업들이 아닙니다. 그들은 조정 문제를 해결하는 기업들입니다.
Optional learning community: https://t.me/GyaanSetuAi