오픈 웨이트(open-weight) AI 모델이 이제 OpenRouter 토큰 트래픽의 63%를 처리하고 있습니다. 이는 불과 2년 전 5% 미만이었던 것에 비해 급증한 수치입니다. 이러한 급증은 토큰당 비용이 50배 감소하고 성능 격차가 좁혀지면서, 개발자들이 폐쇄형 소스 API에 대한 의존도를 재고하게 만든 결과입니다.
변화 이면의 수치들
Mozilla의 트래픽 분석에 따르면 오픈 웨이트 모델은 OpenRouter 플랫폼에서 컴퓨팅의 주된 원천이 되었습니다. 토큰 트래픽은 모델이 처리하는 모든 텍스트 조각을 집계하므로, 실제 사용량을 나타내는 신뢰할 수 있는 지표가 됩니다. 이처럼 짧은 기간 내에 5% 미만에서 63%로 급증한 것은 일시적인 유행이 아닌 구조적 변화를 의미합니다.
경제적 구도가 뒤바뀐 이유
2023년에는 고성능 모델을 실행하는 데 처리된 토큰 100만 개당 약 20달러가 소요되었습니다. 오늘날 그 가격은 0.40달러로, 지난 36개월 동안 50배의 비용 절감이 이루어졌습니다.
좁혀지는 성능 격차
과거 오픈 모델은 표준 벤치마크에서 독점 모델들에 비해 약 8% 뒤처져 있었습니다. 최근 측정 결과 그 격차는 3.3%로 줄어들었으며, 이는 더 나은 데이터 큐레이션과 아키텍처 미세 조정을 통해 단 몇 달 만에 달성한 성과입니다. 이제 격차가 충분히 작아졌기 때문에, 특히 비용이 결정적인 요소일 때 많은 개발자가 폐쇄형 모델을 오픈 모델로 교체하는 데 따르는 단점이 거의 없다고 판단하고 있습니다.
대거 이동하는 개발자들
Mozilla 데이터에 따르면 AI 기능을 추가하는 개발자의 79%가 오픈 웨이트 모델로 시작합니다. 이러한 선택은 단순히 가격 때문만은 아닙니다. 오픈 모델은 팀에게 가중치, 라이선스 및 배포 옵션에 대한 완전한 가시성을 제공하며, 이는 더 빠른 반복 주기(iteration cycles)로 이어집니다.
주권 문제가 시급성을 더하다
최근 47개국이 핵심 워크로드를 해외 AI 서비스로 처리하는 것을 제한했습니다. 오픈 모델은 국내 인프라에 호스팅할 수 있어, 해당 국가들이 데이터 통제권을 유지하고 새롭게 등장하는 규제를 준수할 수 있게 해줍니다. 이러한 정책적 압박은 금융, 의료 및 공공 행정 분야의 도입을 가속화하고 있습니다.
진정한 해자는 '하네스(harness)'에 있다
Mozilla의 분석은 프롬프트 엔지니어링 프레임워크, 안전 필터, 오케스트레이션 파이프라인과 같은 주변 툴링(tooling)이 약간 더 나은 모델로 교체하는 것보다 종종 더 큰 성능 향상을 가져온다는 점도 강조합니다.
폐쇄형 API에 종속될 때의 위험
- 공급업체 리스크(Vendor risk) – 정책 변경, 가격 수정 또는 정부 명령으로 인해 즉각적으로 접근이 차단될 수 있으며, 새로운 계약이 체결될 때까지 서비스가 중단될 수 있습니다.
오늘날의 개발자를 위한 실용적인 스택
- 대부분의 프로덕션 워크로드에는 오픈 웨이트 모델을 기본으로 사용하십시오.
- 하네스(harness)에 투자하십시오: 평가 스위트(evaluation suites)를 구축하고, 재사용 가능한 프롬프트 라이브러리를 개발하며, 안전 계층을 통합하십시오.
- 이식성을 고려하여 설계하십시오: 코드 변경 없이 여러 제공업체로 라우팅할 수 있는 인터페이스 뒤로 모델 호출을 추상화하십시오.
- 폐쇄형 모델은 남겨두십시오: 오픈 모델이 아직 따라잡지 못하는 최첨단 추론이나 독점 데이터가 필요한 약 10%의 작업에만 사용하십시오.
향후 주목해야 할 점
오픈 웨이트 모델은 현재 훨씬 저렴하면서도 폐쇄형 대안과 거의 대등한 성능을 갖추고 있기 때문에 AI 토큰 시장을 지배하고 있습니다. 강력한 하네스를 구축하고 스택의 이식성을 유지하는 팀은 비용을 절감하는 동시에 공급업체 및 정책 쇼크로부터 스스로를 보호할 수 있을 것입니다. 폐쇄형 모델은 특수 목적용 도구로서 살아남겠지만, AI 작업의 대부분은 이미 오픈 모델로 이동하고 있습니다.