기업들이 AI 투자 수익률(ROI) 계산에 어려움을 겪는 이유

CEO들이 공격적이고 무분별한 AI 사용을 독려하던 초기 "tokenmaxxing"의 물결은 기업 예산이 정밀 조사를 받게 되면서 가혹한 현실을 마주하고 있습니다. 기업들이 실험 단계를 지나면서, 핵심 과제는 단순한 도입에서 실질적인 투자 수익률(ROI)을 증명하는 것으로 옮겨갔습니다.

Tokenmaxxing에서 예산 책임 경영으로

올해 초 실리콘밸리는 조직이 역량을 극대화하기 위해 AI 사용을 극한까지 밀어붙이는 트렌드인 "tokenmaxxing"에 사로잡혔습니다. 그러나 이러한 억제되지 않은 열광의 재정적 영향이 이제 드러나고 있습니다. 보고에 따르면 Uber와 같은 주요 기업들은 불과 몇 달 만에 연간 AI 예산을 모두 소진한 것으로 알려졌습니다.

이러한 소비 급증은 기업 환경의 조정 단계로 이어졌습니다. 특정 부서의 Claude 라이선스를 축소하는 기업이나, Meta가 내부 AI 리더보드를 중단했다는 보고처럼 조직들이 규모를 축소하는 모습이 나타나고 있습니다. 이러한 움직임은 "비용을 불문한 성장" 마인드셋에서 엄격한 재정 규율과 자원 관리 마인드셋으로의 전환을 의미합니다.

"매직 모먼트"와 개인용 에이전트의 탐색

예산 긴축에도 불구하고, NEA 파트너인 Tiffany Luck은 특히 소비자 부문에서 AI의 변혁적 잠재력에 대해 여전히 낙관적입니다. Luck은 AI가 최종 사용자에게 부정할 수 없는 높은 가치의 유용성을 제공하는 특정 순간인 "매직 모먼트(magic moments)"를 식별하는 것의 중요성을 강조합니다.

업계는 단순한 챗봇을 넘어 정교한 개인용 에이전트 개발로 나아가고 있습니다. 이러한 에이전트는 AI의 차세대 개척지로, 반응형 도구에서 복잡한 작업을 수행할 수 있는 능동적인 비서로 전환되는 것을 의미합니다. 벤처 캐피털리스트와 창업자들에게 목표는 일반적인 LLM 구현을 넘어, 상당한 운영 비용을 정당화할 수 있는 방식으로 마찰이 큰 문제를 해결하는 특화된 에이전트를 구축하는 것입니다.

AI 지출 관리의 부상

AI에 대한 기대(hype)와 실제 생산성 사이의 격차가 좁혀짐에 따라, 그 간극을 메우기 위한 새로운 스타트업 하위 섹터가 등장하고 있습니다. 기업들은 현재 모델 API 호출, 컴퓨팅 자원, 시트 라이선스에 드는 세부 비용을 창출된 실제 가치와 대조하여 추적하는 데 어려움을 겪고 있습니다.

이는 AI 관측성(observability) 및 비용 관리에 집중하는 스타트업들에게 거대한 기회를 창출했습니다. 기업들은 AI 스택에 대한 투명성을 제공하여, 토큰이 정확히 어디에서 소비되고 있는지, 그리고 그 토큰이 수익을 창출하고 있는지 아니면 단순히 비용 부담만 가중시키고 있는지를 파악할 수 있는 도구를 찾고 있습니다. AI 지출을 특정 비즈니스 성과와 연결할 수 있는 능력은 AI를 핵심 워크플로우에 성공적으로 통합하는 기업을 결정짓는 핵심 요소가 될 것입니다.

주요 시사점