샘 알트만, 스케일링 회의론자들이 AI 발전을 저해했다고 주장
OpenAI의 CEO 샘 알트만(Sam Altman)이 스케일링(scaling)의 힘을 더욱 강조하며, 이전 세대의 연구자들이 대규모 언어 모델(LLM)의 잠재력을 과소평가함으로써 발전을 저해했다고 주장하고 있다. 트랜스포머(transformer) 아키텍처의 한계에 대한 논쟁이 격화되는 가운데, 알트만은 컴퓨팅 자원과 데이터의 지속적인 확장이 유리하다는 실증적 증거가 압도적이라고 단언한다.
지적 독단주의의 대가
최근 스탠퍼드 대학교에 참석한 알트만은 스케일링 지지자들과 회의론자들 사이의 마찰을 언급하며, 특히 LLM을 "막다른 길(dead end)"이라고 규정한 메타(Meta)의 얀 르쿤(Yann LeCun)과 같은 비판자들을 거론했다. 알트만은 스케일링 가설에 대한 저항의 상당 부분이 AI가 할 수 없는 것에 대한 연구자들의 지나친 확신에서 비롯된다고 시사했다.
그는 일부 업계 인사들이 자신의 전문적 정체성을 특정 이론적 입장에 결부시킴으로써, 오랫동안 유지해 온 신념에 반하는 새로운 데이터에 저항하게 된다고 주장했다. 로보틱스와 같은 분야의 발전을 위해서는 "월드 모델(world models)"이 필수적이라는 점을 인정하면서도, 알트만은 현재 LLM의 궤적이 우회로가 아니라 지능의 핵심 엔진이라고 주장한다.
실증적 증거: 패턴 매칭을 넘어
알트만이 스케일링을 옹호하며 내세운 가장 중요한 논점 중 하나는 LLM이 단순한 텍스트 예측기에서 독창적인 추론이 가능한 도구로 전환되고 있다는 점이다. 그는 최근 OpenAI 모델이 인간 전문가들이 오랫동안 해결하지 못했던 수학적 추측을 성공적으로 반증해낸 이정표를 사례로 들었다.
이러한 발전은 LLM이 진정한 발견을 할 수 없는 단순한 "확률적 앵무새(stochastic parrots)"에 불과하다는 서사에 도전한다는 점에서 매우 중요하다. 알트만은 "LLM은 분명히 새로운 지식을 파악할 능력이 있다"라고 말하며, 수학계가 현재 AI 기반 증명이 갖는 함의를 적극적으로 고찰하고 있다고 언급했다. 이러한 변화는 스케일링이 단순히 유창성을 향상시키는 것이 아니라, 인지 능력의 지평을 확장하고 있음을 시사한다.
프런티어: 추론 vs. 장기 과제(Long-Horizon Tasks)
낙관적인 태도에도 불구하고, 알트만은 기술의 현재 한계에 대해서는 현실적인 태도를 유지하고 있다. 그는 장기간에 걸친 고차원적 판단과 다단계 계획이 필요한 복잡한 워크플로우인 "장기 과제(long-horizon tasks)"와 관련하여 뚜렷한 성능 격차가 있음을 지적했다. 그는 이러한 특정 영역에서 LLM이 여전히 "사람보다 훨씬 못해 보인다"라고 인정했다.
더 넓은 AI 생태계에서 이러한 구분은 차세대 연구의 프런티어를 정의한다. 업계는 "지식을 위한 스케일링" 단계에서 "추론과 에이전시(agency)를 위한 스케일링" 단계로 이동하고 있다. OpenAI와 Anthropic(알트만과 같은 스케일링 신념을 공유하는 CEO 다리오 아모데이가 이끄는)과 같은 기업들이 컴퓨팅 자원에 수십억 달러를 계속 쏟아붓고 있는 가운데, 목표는 순간적인 지능과 신뢰할 수 있는 장기적 자율성 사이의 간극을 메우는 것이다.
핵심 요약
- 스케일링이 주요 동력: 알트만은 컴퓨팅 자원과 데이터 증가의 영향을 과소평가하는 것이 역사적으로 AI 혁신의 속도를 늦춰왔다고 주장한다.
- 모방을 넘어선 발견: 복잡한 수학적 추측을 해결하는 OpenAI 모델의 능력은 LLM이 진정한 지식 창출을 향해 나아가고 있음을 증명한다.
- 다음 병목 구간: 스케일링이 많은 문제를 해결해주지만, 장기적이고 고도의 판단이 필요한 과제에서 인간 수준의 성능을 구현하는 것은 업계의 다음 주요 과제로 남아 있다.