Kimi K3는 증류(Distillation)의 산물인가? 전문가들, 의혹에 반론 제기
인공지능을 둘러싼 지정학적 긴장이 미국 관료들이 중국 기업을 산업 스파이 행위로 비난함에 따라 임계점에 도달했습니다. Moonshot AI가 Anthropic의 Fable을 사용하여 Kimi K3 모델을 학습시켰다는 의혹이 제기되고 있지만, 주요 AI 연구자들은 거대 언어 모델(LLM) 개발의 기술적 실상은 훨씬 더 복잡한 이야기를 담고 있다고 주장합니다.
모델 증류 및 지식재산권(IP) 탈취 의혹
백악관 과학 보좌관 마이클 크라츠이오스(Michael Kratsios)는 현재 사용 가능한 가장 큰 오픈 웨이트(open-weight) LLM인 Kimi K3의 개발사 Moonshot을 상대로 심각한 비난을 쏟아냈습니다. 크라츠이오스는 Moonshot이 미국의 독점 기술을 훔치기 위해 "대규모의 은밀한 산업적 증류(industrial distillation)"를 수행했다고 주장합니다. 이러한 주장은 미국 LLM의 "워터마크"가 중국 모델에서 나타나고 있다고 언급한 스콧 베센트(Scott Bessent) 재무장관에 의해 뒷받침되고 있습니다.
증류(Distillation)는 더 큰 "프런티어(frontier)" 모델에 질의하여 그 추론 능력과 지식을 추출함으로써 더 작은 모델을 학습시키는 과정입니다. 이는 종종 지도 미세 조정(SFT, supervised fine-tuning)을 포함하는데, 타겟 모델의 프롬프트와 응답을 사용하여 새로운 모델을 학습시키며, 이 과정에서 새로운 모델이 원본 모델의 "매너"나 특유의 대화 습관을 그대로 닮게 되는 경우가 있습니다.
전문가들이 증류 이론을 의심하는 이유
이러한 주장의 정치적 무게에도 불구하고, AI 연구 커뮤니티는 회의적인 시각을 유지하고 있습니다. Laude Institute의 연구원이자 Snorkel AI의 공동 창립자인 브레이든 핸콕(Braden Hancock)은 중요한 일정 문제를 지적합니다. Anthropic의 Fable은 7월 1일부터 공개적으로 사용 가능했습니다. 핸콕은 "2주 만에 그만큼의 데이터를 증류하고, 모델을 학습시켜 출시하는 것은 불가능하다"라고 언급했습니다.
또한, Allen Institute for AI의 네이선 램버트(Nathan Lambert)는 모델이 프런티어 단계로 진화함에 따라 SFT를 통한 증류의 효과가 점점 떨어지고 있다고 주장합니다. Kimi K3에서 보이는 수준의 성능을 달성하려면 모델은 대규모 강화 학습(RL) 과정을 거쳐야 할 가능성이 높습니다. 이 과정에는 수천만 명의 에이전트가 응답을 채점해야 하는데, 경쟁사의 API를 통해 이를 수행한다면 비용이 지나치게 많이 들고 속도도 매우 느려질 것입니다.
하드웨어 및 기술적 전문성의 역할
논란은 소프트웨어에만 국한되지 않습니다. 크라츠이오스는 또한 Moonshot이 수출 통제를 우회하여 첨단 Nvidia 하드웨어, 특히 Grace Blackwell 300 칩과 GB300 탑재 서버에 접근했다고 주장했습니다. 이러한 칩은 중국 수출이 금지되어 있지만, 조지타운 대학교의 샘 브레즈닉(Sam Bresnick)과 같은 전문가들은 암시장과 복잡한 글로벌 공급망으로 인해 이러한 하드웨어 흐름을 모니터링하는 것이 매우 어렵다고 시사합니다.
그러나 많은 연구자는 증류에만 초점을 맞추는 것이 중국 AI 팀의 기술적 정당성을 훼손한다고 주장합니다. 카네기 멜런 대학교(Carnegie Mellon University)와 같은 엘리트 기관 출신의 창립자들이 포진해 있는 만큼, 전문가들은 Moonshot이 단순히 "기술에 편승하는" 것이 아니라 독자적인 연구를 수행할 능력이 있다고 보고 있습니다.
글로벌 AI 경쟁에 미치는 영향
이번 분쟁은 정치적 서사와 기술적 실체 사이의 벌어지는 간극을 극명하게 보여줍니다. 업계가 정교한 강화 학습과 막대한 컴퓨팅 요구 사항을 향해 나아감에 따라, 기업들이 지능을 "훔치고" 있는 것인지 아니면 단순히 우수한 엔지니어링을 통해 발전하고 있는 것인지에 대한 논쟁은 국제 무역 정책과 AI 규제를 형성하는 데 계속해서 영향을 미칠 것입니다.
핵심 요약
- 기술적 회의론: 전문가들은 Kimi K3의 빠른 출시 속도를 고려할 때, Anthropic의 Fable을 통한 증류만으로 모델을 구축하는 것은 수학적으로 불가능에 가깝다고 주장합니다.
- 미세 조정을 넘어: 지도 미세 조정을 통한 증류 방식이 존재하기는 하지만, 프런티어 수준의 성능을 달성하려면 쉽게 "복제"할 수 없는 고급 강화 학습이 필요할 가능성이 높습니다.
- 하드웨어 우려: 금지된 Nvidia Blackwell 칩에 대한 불법 접근 의혹은 중국의 AI 발전 논쟁에 지정학적 복잡성을 더하고 있습니다.