AWS Bedrock 키는 이제 내부 LLM 게이트웨이에 의해 보호되며, 이를 통해 핀테크 기업의 모든 팀이 모델을 호출할 수 있지만, 각 요청은 팀별 토큰 예산과 연결됩니다. 이 변화는 리포지토리와 노트북에 IAM 자격 증명을 흩뿌려 놓던 관행을 중단시켰으며, 이러한 습관은 이미 단 하루 만에 회사의 AI 지출을 모두 소진할 위험이 있었습니다.

AWS 키를 배포하는 것이 왜 금방 엉망이 되는가

조직 내 비기술 부서들이 회사의 언어 모델에 대한 직접적인 접근 권한을 요청했습니다. 이론적으로 가장 간단한 해결책은 AWS에서 모델을 활성화하고 각 그룹에 IAM 권한을 부여하는 것이었습니다. 10분 정도의 작업과 몇 가지 정책 수정만으로 업무가 완료될 것처럼 보였습니다.

실제로는 IAM 자격 증명을 배포할 때 세 가지 숨겨진 비용이 발생합니다:

  • 자격 증명 확산(Credential sprawl) – 키가 .env 파일, CI 파이프라인, Jupyter 노트북, 임시 스크립트 등에 남게 됩니다. 키를 교체해야 할 때마다 각 복사본이 장애 지점이 됩니다.
  • 가시성 제로(Zero visibility) – 단일 공유 키를 사용하면 어떤 팀이나 어떤 코드 조각이 사용량을 생성하는지 알 수 없습니다. 제어되지 않는 루프가 시작되면 누군가 알아차리기도 전에 전체 예산이 소진될 수 있습니다.
  • 운영 오버헤드(Operational overhead) – 누가 어떤 권한을 가지고 있는지 추적하고, 액세스를 취소하며, 사용량을 감사하는 작업이 빠르게 수동적이고 오류가 발생하기 쉬운 프로세스로 변질됩니다.

핀테크 팀은 이러한 "임시방편"이 곧 보안 및 비용 측면의 악몽이 될 것임을 깨달았습니다.

대신 리버스 프록시 게이트웨이 구축하기

해결책은 모든 내부 애플리케이션과 AWS Bedrock 사이에 가벼운 리버스 프록시를 삽입하는 것이었습니다. 프록시는 실제 AWS 자격 증명을 보안이 유지되는 하나의 금고(vault)에 보관하고, 호출자에게는 짧은 수명의 읽기 쉬운 토큰(예: lllkey_9f3c)을 발급합니다.

주요 설계 포인트:

  • AWS 자격 증명이 게이트웨이를 벗어나지 않음 – 개발자와 서비스는 실제 IAM 키를 절대 볼 수 없습니다.
  • 토큰별 정책 적용 – 각 토큰은 특정 모델 제품군이나 최대 토큰 수로 제한될 수 있습니다.
  • 전체 감사 추적(Full audit trail) – 모든 요청은 이름과 함께 로그로 기록됩니다.

게이트웨이가 요청을 처리하는 방식

  1. 토큰 수신 – 클라이언트는 HTTP 헤더에 llmkey_… 토큰을 포함합니다.
  2. 토큰 검증 – 게이트웨이는 토큰의 상태(활성 여부, 만료 여부)와 요청이 할당된 예산 내에 있는지 확인합니다.
  3. 모델 화이트리스트 – 요청된 모델이 해당 토큰에 허용된 것인지 확인합니다.
  4. Bedrock으로 전달 – 저장된 IAM 자격 증명을 사용하여 AWS로 요청을 보냅니다.
  5. 로그 기록 및 과금 – 보고를 위해 토큰 사용량, 모델 이름, 예상 비용이 중앙 데이터베이스에 기록됩니다.

핀테크 기업은 모든 데이터를 자체 네트워크 내에 유지해야 하므로, 제3자 SaaS 솔루션은 고려 대상이 아니었습니다.

회사가 얻은 이점

  • 모델 제어 – 저비용 모델만 필요한 팀은 해당 모델로 제한할 수 있어, 실수로 고비용의 고성능 모델을 사용하는 것을 방지할 수 있습니다.
  • 예산 보호 – 토큰에는 엄격한 토큰 제한이 있습니다. 제한에 도달하면 게이트웨이는 추가 크레딧을 조용히 소진하는 대신 오류를 반환합니다.
  • 재무 부서를 위한 귀속 정보 – 사용 로그를 기반으로 구축된 대시보드는 어떤 팀이나 서비스가 AI에 정확히 얼마를 사용했는지 보여주어, 모호한 스프레드시트를 투명한 보고서로 바꿔줍니다.

운영 워크플로우도 변화했습니다. 새로운 IAM 정책을 만들 필요도, 비밀번호를 교체할 필요도 없으며, 키가 버전 관리 시스템에 유출될 위험도 사라졌습니다.

반론: 왜 관리형 서비스를 사용하지 않는가

커스텀 게이트웨이를 구축하는 것이 엔지니어링 노력과 유지보수 부담을 가중시킨다는 것이 일반적인 반론입니다. 이 핀테크 기업의 경우, 모든 AI 트래픽과 사용 데이터를 기업 방화벽 뒤에 유지해야 할 필요성이 제3자 솔루션의 편리함보다 더 컸습니다. 내부 프록시 구축에는 주말 동안의 개발 시간이 필요했지만, 이를 통해 단순한 키 배포 방식을 따랐을 때 뒤따랐을 수개월간의 자격 증명 정리 작업과 예산 초과 문제를 해결할 수 있었습니다.

시사점

AWS Bedrock 키를 배포하는 것은 보안과 예산 관리의 악몽으로 빠르게 변질되는 지름길입니다. 주말 동안 구축할 수 있는 적절한 수준의 리버스 프록시 게이트웨이는 자격 증명을 중앙 집중화하고, 팀별 제한을 적용하며, 재무 부서에 필요한 감사 추적을 제공합니다. 통제권을 포기하지 않으면서 여러 그룹이 LLM을 실험할 수 있도록 하고 싶은 조직이라면, 게이트웨이 방식은 사고 방지와 명확한 지출 가시성을 통해 그 가치를 충분히 증명할 것입니다.