Node.js 벤치마크 결과, 5개의 인기 비디오 API 서비스가 파일 크기에 따라 성능 차이가 크게 나타났습니다. 대역폭을 제한한 4G 연결(10 Mbps) 환경에서, 대용량 파일 테스트에서는 FastPix가 압도적이었으나, 작은 클립에서는 Cloudinary가 앞서 나갔습니다.

이 테스트가 중요한 이유

비디오 API 제공업체들은 마케팅 페이지에서 "가장 빠른 업로드"나 "즉각적인 재생"을 끊임없이 내세웁니다. 이러한 주장은 대개 각 제공업체에 가장 유리한 테스트 파일을 선별하여 진행한 결과에 기반합니다. 제품 팀이 이러한 헤드라인만 보고 벤더를 결정하면, 실제 사용자가 다양한 크기나 네트워크 품질의 콘텐츠를 업로드할 때 광고된 성능과 실제 지연 시간 사이의 괴리가 발생할 위험이 있습니다.

벤치마크 구축 방법

작성자는 Node.js로 간단한 테스트 환경(harness)을 구축하여 각 업로드에 대해 두 가지 지표를 측정했습니다:

  • Upload time (업로드 시간) – 원본 바이트를 API로 전송하는 데 걸리는 실제 시간(wall-clock seconds).
  • Time-to-ready (준비 완료 시간) – 업로드 시작부터 비디오를 스트리밍할 수 있을 때까지(즉, API가 에셋을 재생 가능하다고 보고할 때까지)의 간격.

다음 다섯 가지 서비스가 동일한 스크립트를 통해 테스트되었습니다: FastPix, Mux, api.video, Cloudinary, Gumlet. 모든 테스트는 동일한 머신에서 실행되었으며, 일반적인 모바일 4G 환경을 모방하기 위해 네트워크 대역폭을 10 Mbps로 제한했습니다. 두 가지 대표적인 파일이 사용되었습니다:

  • 대용량 파일: 177 MB, 롱폼 콘텐츠나 고해상도 카메라 마스터 파일에 근접한 크기.
  • 소용량 파일: 65 MB, 일반적인 짧은 클립이나 소셜 미디어 스니펫 크기.

테스트 환경은 업로드를 자동화한 후, 비디오가 "ready" 상태에 도달할 때까지 각 제공업체의 상태 엔드포인트(status endpoint)를 폴링(polling)하며 두 타임스탬프를 모두 기록했습니다.

수치가 나타내는 결과

대용량 파일 (177 MB)

  • FastPix는 가장 낮은 업로드 시간과 가장 빠른 전체 준비 완료 시간(time-to-ready)을 기록하여, 대량 전송 분야에서 확실한 선두를 차지했습니다.
  • Mux는 가장 빠른 콜드 스타트(cold-startup)를 보여주었습니다. 즉, 비디오가 준비 상태로 표시된 후 첫 프레임이 더 빨리 나타났음을 의미합니다.

소용량 파일 (65 MB)

  • Cloudinary는 단 2초 만에 클립을 처리하며 다른 모든 서비스를 제치고 1위를 차지했습니다.
  • FastPix는 5위로 떨어졌습니다.

비디오 API 선택 시 시사점

  • 롱폼 또는 고해상도 업로드 – 원시 처리량(throughput)과 인제스트(ingest) 속도가 뛰어난 서비스를 우선시하십시오. 이번 테스트에서는 FastPix가 더 안전한 선택입니다.
  • 짧은 온디맨드 클립 – 콜드 스타트 지연 시간을 최소화하는 API를 선호하십시오. Cloudinary의 2초 처리 시간은 즉각적인 재생 시나리오에 적합함을 시사합니다.

단순한 수치를 넘어, 팀은 가격 정책, 지리적 CDN 커버리지, 트랜스코딩 옵션이나 DRM과 같은 기능 세트를 함께 고려해야 합니다. 제공업체의 리더보드는 빠른 확인 용도로는 도움이 될 수 있지만, 워크로드별 맞춤 테스트를 대체해서는 안 됩니다.

직접 테스트를 수행하는 방법

  1. 흐름 스크립트화 – 신뢰하는 언어(Node.js, Python 등)를 사용하여 파일을 업로드하고 "ready" 플래그가 나타날 때까지 상태 엔드포인트를 폴링하는 스크립트를 작성하십시오.
  2. 환경 제어 – 변동성을 제거하기 위해 모든 제공업체의 테스트를 동일한 머신과 네트워크에서 실행하십시오.
  3. 대역폭 제한 – 예상되는 가장 느린 사용자 계층을 반영하도록 연결 속도를 제한하십시오(예: 4G를 위해 10 Mbps로 제한).
  4. 실제 에셋 사용 – 일반적인 테스트 클립 대신 제품의 전형적인 업로드 형식을 반영하는 푸티지(footage)를 사용하십시오. 코덱, 해상도, 비트레이트는 인제스트 파이프라인에 영향을 줄 수 있습니다.

진정으로 중요한 유일한 벤치마크는 여러분의 실제 트래픽 패턴과 품질 기대치를 반영하는 것입니다.

향후 주목해야 할 점

비디오 API가 진화함에 따라 새로운 인제스트 경로, 엣지 캐싱 레이어, AI 기반 트랜스코딩 기능이 출시되고 있습니다. CI 파이프라인에 자동화된 벤치마크를 유지하면 사용자에게 영향을 미치기 전에 성능 저하(regression)를 발견할 수 있습니다. 아래 링크된 결과와 같이 커뮤니티에서 공유된 결과 또한 생태계의 더 투명한 모습을 파악하는 데 도움이 됩니다.

Source: https://dev.to/masonwritescode/benchmark-video-apis-yourself-upload-to-playable-measured-across-five-providers-3ap0