토큰맥싱(Tokenmaxxing)에서 배급제로: 기업의 AI 비용 위기
기업들이 도입을 촉진하기 위해 무제한적인 AI 사용을 권장하던 '토큰맥싱(tokenmaxxing)'의 초기 열풍이 운영 비용이라는 냉혹한 현실과 빠르게 충돌하고 있습니다. 기업들이 실험 단계를 넘어 확장 단계로 전환함에 따라, 새로운 과제가 부상하고 있습니다. 바로 가치가 낮고 사소한 작업들로 인해 막대한 AI 예산이 고갈되는 것을 어떻게 방지할 것인가 하는 점입니다.
토큰 배급제의 등장
올해 초 기업계의 담론은 AI 통합을 극대화하는 데 집중되어 있었습니다. 일부 조직은 직원들의 AI 사용을 게임화하고 보상하기 위해 내부 리더보드(leaderboard)를 도입하기도 했습니다. 하지만 이러한 억제되지 않은 열정은 예측 불가능한 지출이 수익성을 악화시키는 현상을 초래했습니다.
우리는 이제 "토큰 배급제(token rationing)"의 시대를 목격하고 있습니다. 경영진은 직원들에게 가능한 모든 작업에 거대언어모델(LLM)을 사용하도록 권장하는 대신, 엄격한 통제를 도입하기 시작했습니다. 목표는 광범위하고 관리되지 않는 사용 방식에서 벗어나, AI를 영향력이 크고 가치가 높은 워크플로우에만 적용하는 규율 있는 모델로 전환하는 것입니다.
액센츄어(Accenture) 사례: 높은 이해관계와 사소한 작업들
이러한 변화의 두드러진 사례는 글로벌 컨설팅 거물인 액센츄어(Accenture)에서 찾아볼 수 있습니다. 액센츄어의 에이전틱 AI(agentic AI) 전략 리드인 저스티스 곽(Justice Kwak)이 주도한 내부 회의의 유출된 녹취록에 따르면, 회사는 직원들이 기본적인 행정 업무에 토큰 예비량을 소진하는 것을 방지하기 위해 적극적으로 노력하고 있습니다.
이 보고서는 놀라운 모순을 지적합니다. 액센츄어는 이전에 AI를 도입하지 않을 경우 직원들이 "승진에서 누락될 위험이 있다"고 신호를 보냈으나, 이제는 사용을 억제하는 방향으로 선회하고 있습니다. 구체적으로, 회사는 PDF를 발표 슬라이드로 변환하는 것과 같은 사소한 작업에 값비싼 AI 컴퓨팅 자원을 사용하는 것을 막으려 하고 있습니다.
곽 리드는 AI가 기업 비용 구조의 실질적인 구성 요소가 되는 "변곡점(inflection point)"에 도달하고 있다고 언급했습니다. 지출이 점점 더 예측 불가능해짐에 따라, CFO, COO, CIO는 추가 지출을 승인하기 전에 명확한 투자 대비 수익(ROI) 증거를 요구하고 있습니다.
포스트 하이프(Post-Hype) 시대의 가치 증명
이러한 변화는 흔히 "AI 매도세(AI selloff)"라고 불리는 AI 산업의 광범위한 트렌드를 반영합니다. 시장은 더 이상 생성형 기능의 참신함에 만족하지 않습니다. 이제는 컴퓨팅 및 토큰 소비에 드는 막대한 비용을 상쇄할 수 있는 실질적인 생산성 향상을 요구하고 있습니다.
산업이 단순한 열풍에서 벗어나 재무적 책임성을 향해 나아감에 따라, 이러한 경제적 압박은 메모리 칩 제조사를 포함하여 AI 의존도가 높은 부문에 특히 영향을 미치고 있습니다. AI 비즈니스 모델이 지속 가능성을 유지하려면, 초점은 AI를 얼마나 많이 사용하는가가 아니라, 복잡한 문제를 해결하기 위해 토큰을 얼마나 효과적으로 배치하느냐로 옮겨가야 합니다.
핵심 요약
- 전략의 변화: 기업들은 예측 불가능한 운영 비용을 관리하기 위해 "토큰맥싱(tokenmaxxing, 무제한 사용)"에서 "토큰 배급제(token rationing)"로 이동하고 있습니다.
- ROI의 의무화: CFO와 CIO를 포함한 경영진은 AI 도입 초기 단계의 흥분을 넘어 가치에 대한 증명을 요구하고 있습니다.
- 비용 대 효용: 값비싼 LLM 토큰이 영향력이 큰 에이전틱(agentic) 워크플로우 대신 PDF 서식 지정과 같은 가치가 낮은 작업에 낭비되는 지점에서 주요한 마찰이 발생하고 있습니다.