이 약속이 중요한 이유
AI 에이전트는 챗봇을 넘어선 다음 단계로 홍보됩니다. 웹을 탐색하고, 수치를 추출하며, API를 호출하고, 인간의 개입 없이 스스로 결정할 수 있는 시스템입니다. 트레이더, 분석가, SaaS 플랫폼 모두에게 이는 매우 매력적인 제안입니다. 하지만 실제로 오늘날의 에이전트는 여전히 개발자의 도움을 받아 경로를 유지해야 하는 "스마트 자동화"에 더 가깝게 동작합니다.
"에이전트" 뒤에 숨겨진 엔지니어링 스택
기능적인 에이전트를 구축한다는 것은 여러 구성 요소를 하나로 엮는 것을 의미합니다:
- Large Language Model (LLM) – 프롬프트를 읽고 다음 행동을 선택하는 추론의 핵심입니다.
- Memory layer – 현재 작업을 위한 단기 컨텍스트와 나중에 검색할 수 있도록 임베딩을 저장하는 장기 벡터 데이터베이스입니다.
- Planner – LLM의 출력값에서 다음 행동을 선택하는 규칙 기반 또는 학습된 모듈입니다.
- Tools – API, 웹 스크래퍼, 코드 인터프리터 또는 에이전트가 호출해야 하는 모든 외부 서비스입니다.
- Feedback loop – 각 단계의 결과를 평가하여 플래너에게 계속 진행할지 또는 되돌아갈지를 알려주는 확인 절차입니다.
각 구성 요소는 제대로 작동하지만, 이들을 통합하는 지점은 매우 취약합니다. 실험 과정에서 개발자는 LLM이 경로를 벗어나지 않도록 디버깅하고 프롬프트를 끊임없이 재설계하는 데 수 시간을 소비했습니다.
숨겨진 과제들
환각 (Hallucinations)
LLM은 그럴듯해 보이는 사실을 지어낼 수 있습니다.
무한 루프
명시적인 안전장치가 없다면, 에이전트는 실패한 단계를 영원히 반복할 수 있습니다. 예를 들어 "페이지 X 가져오기 재시도"를 끝없이 반복하는 식입니다. 개발자는 재시도에 대한 규칙 기반 제한을 추가하여 이를 방지했으나, 이로 인해 또 다른 커스텀 구성 요소가 추가되었습니다.
비용 제어
LLM 호출은 토큰 단위로 비용이 청구됩니다. 고성능 모델을 반복적으로 호출하는 장기 실행 작업은 적은 예산도 금방 소진시킬 수 있습니다. 이번 실험에서는 하이브리드 방식을 사용했습니다. 일상적인 단계에서는 저렴한 모델로 시작하고, 추론이 복잡해질 때만 더 유능하고(비싼) 모델로 전환하는 방식입니다. 이는 비용을 절감하지만 아키텍처의 복잡성을 높입니다.
보안 노출
에이전트에 API 키나 쓰기 권한을 부여하면 공격 표면(attack surface)이 넓어집니다. 탈취된 에이전트는 데이터를 유출하거나 승인되지 않은 트랜잭션을 실행할 수 있습니다. 개발자는 "최소 권한(least privilege)" 원칙을 적용하여 가능한 한 에이전트의 권한을 읽기 전용으로 제한했으나, 이는 에이전트가 수행할 수 있는 작업 범위도 좁히는 결과를 낳았습니다.
시사점
AI 에이전트는 반복적인 데이터 수집을 자동화할 수 있지만, 바로 가져다 쓸 수 있는(plug-and-play) 방식은 아닙니다. 진정으로 자율적인 시스템을 구축하려면 여전히 전체 엔지니어링 스택, 엄격한 보안 관행, 그리고 적극적인 비용 관리가 필요합니다. 이러한 숨겨진 계층들이 간소화되기 전까지는, 어떤 "자율적" AI 워크플로우에서도 인간의 감독이 결정적인 요소로 남을 것입니다.