토큰맥싱(Tokenmaxxing)에서 ROI로: AI의 현실 점검에 대한 NEA 티파니 럭의 견해

비용에 상관없이 AI 사용을 무제한으로 권장하던 실리콘밸리 CEO들의 '토큰맥싱(tokenmaxxing)' 시대가 저물고, 이제는 강도 높은 재무적 검토의 시대로 빠르게 전환되고 있습니다. 기업들이 초기 거품을 지나면서, 초점은 단순한 소비에서 입증 가능한 투자 대비 수익(ROI)으로 옮겨갔습니다.

토큰맥싱 시대의 종말

올해 초 기술 업계의 주된 트렌드는 유용성을 극대화하기 위해 가능한 모든 워크플로우에 AI를 통합하려는 '토큰맥싱'이었습니다. 하지만 거대 언어 모델(LLM) 소비에 따른 천문학적인 비용은 중대한 현실 자각을 불러일으켰습니다. 주요 보고서에 따르면 Uber와 같은 기업들은 불과 몇 달 만에 연간 AI 예산을 모두 소진한 것으로 알려졌습니다.

이러한 재정적 압박으로 인해 기업들은 엄격한 통제를 시행해야 했으며, 일부 기업은 특정 부서의 Claude 라이선스를 축소하거나 Meta처럼 내부 AI 리더보드를 폐지하기도 했습니다. NEA의 파트너인 티파니 럭(Tiffany Luck)과 같은 벤처 캐피털리스트들에게 이러한 변화는 실험적인 지출에서 규율 있는 'ROI 정산(ROI reckoning)' 시대로의 전환을 의미합니다.

모델 불가지론(Model Agnosticism)과 배포 전략의 부상

기업들이 이러한 비용 문제로 고심함에 따라, 새로운 형태의 기업 도입 패턴이 나타나고 있습니다. 단일 제공업체에 종속되는 대신, 기업들은 성능과 가격을 모두 최적화하기 위해 다양한 모델을 '믹스 앤 매치(mixing and matching)'하는 추세입니다. 이러한 멀티 모델 접근 방식은 기업이 복잡한 작업에는 비용이 많이 드는 고성능 추론 모델을 사용하고, 일상적인 자동화에는 더 작고 저렴한 모델을 활용할 수 있게 해줍니다.

이러한 통합을 용이하게 하기 위해 '현장 배치 엔지니어(forward-deployed engineer)'라는 새로운 유형의 인재가 필수적으로 떠오르고 있습니다. 럭은 이 엔지니어들이 대기업 내 AI 도입을 위한 '트로이 목마' 역할을 하고 있다고 제안합니다. 이들은 구현의 최전선에서 직접 작업함으로써, 모델 자체의 역량과 구체적이고 가치 중심적인 비즈니스 유스케이스 사이의 간극을 메우고, AI 도구가 단순히 복잡성을 더하는 것이 아니라 실제로 기업의 문제를 해결할 수 있도록 보장합니다.

AI 스택 전반에서 가치 찾기

현재 시장에서의 흔한 오해 중 하나는 가치가 오직 모델 계층에만 집중되어 있다는 것입니다. 가장 강력한 LLM을 차지하기 위한 경쟁이 계속되고 있지만, 티파니 럭은 AI 스택의 모든 계층에서 상당한 가치 창출이 일어나고 있다고 주장합니다.

기업이 AI 지출을 추적할 수 있도록 돕는 특화된 인프라를 구축하는 스타트업부터, 소비자 경험에서 '마법 같은 순간(magic moments)'을 선사하는 '개인용 에이전트(personal agents)'를 만드는 개발자에 이르기까지, 기회는 다각화되고 있습니다. 산업이 성숙해짐에 따라, 승자는 단순히 가장 많은 토큰을 제공하는 기업이 아니라, 가장 효율적이고 통합적이며 측정 가능한 지능을 제공하는 기업이 될 것입니다.

핵심 요약