CoreWeave, DeepSeek-V3로 신기록 달성
CoreWeave가 DeepSeek-V3를 2분 만에 학습시켰습니다.
이 결과는 MLPerf v6.0의 새로운 기록을 세웠습니다. 이는 이전 AWS의 기록을 43% 앞지른 수치입니다. AWS는 동일한 작업을 완료하는 데 3.5분이 소요되었습니다.
달성 방법:
- 11,000개 이상의 NVIDIA H100 GPU 사용.
- 4개의 데이터 센터에 걸쳐 워크로드 분산.
- 컴퓨팅 관리를 위해 커스텀 오케스트레이션 레이어 사용.
CoreWeave는 또한 랙 규모(rack scale)에서 Nvidia Vera Rubin NVL72를 검증했습니다. 이로써 CoreWeave는 이를 수행한 최초의 클라우드 제공업체가 되었습니다.
AI 분야에서 이것이 중요한 이유:
- 여러 사이트에 걸쳐 수천 개의 GPU를 사용하면 학습 비용이 절감됩니다.
- AI 워크로드의 경우 특화된 인프라가 범용 클라우드 서비스보다 뛰어납니다.
- DeepSeek-V3는 GPT-4 비용의 극히 일부만으로도 높은 성능을 보여줍니다.
CoreWeave는 현재 이러한 역량을 확장하기 위해 텍사스에 1.2 GW 규모의 데이터 센터 캠퍼스를 구축하고 있습니다.
AWS 및 Google Cloud와 같은 주요 기업들이 이러한 속도에 어떻게 대응할지 주목해 보십시오.
출처: https://dev.to/gentic_news/coreweave-trains-deepseek-v3-in-2-minutes-claims-mlperf-v60-record-3dp4
학습 커뮤니티 참여: https://t.me/GyaanSetuAi