Continuum 구축하기: 드라마 시리즈 전체를 제작하는 에이전트

대부분의 AI 도구는 괜찮은 클립 하나를 만드는 데 그칩니다. 시리즈를 만들려고 하면 한계에 부딪히죠. 샷마다 캐릭터의 모습이 달라지기 때문입니다. 이로 인해 사람이 모든 프레임을 일일이 수정하지 않고서는 스토리텔링이 불가능해집니다.

저는 이 문제를 해결하기 위해 Continuum를 구축했습니다. Continuum는 세로형 마이크로 드라마를 위한 자율형 AI 쇼러너(showrunner)입니다. 대본, 스토리보드, 영상, 음악, 편집까지 모두 처리합니다. 가장 중요한 점은 에피소드 1부터 에피소드 2까지 캐릭터의 외형을 동일하게 유지한다는 것입니다.

세로형 마이크로 드라마 시장은 거대합니다. 2025년에는 110억 달러 규모에 달했습니다. 중국에서는 신작의 95%가 AI를 사용합니다.

Continuum는 세 가지 핵심 시스템을 사용하여 작동합니다:

  • 시리즈 바이블(Series Bible): 이 JSON 문서는 캐릭터의 외형, 소품, 장소를 저장합니다. 캐릭터의 외형이 한 번 설정되면 에이전트는 얼굴을 바꿀 수 없습니다. 이를 통해 시각적 불일치(visual drift)를 방지합니다.

  • 비평가-최적화 루프(Critic-Optimizer Loop): 클립이 생성된 후, Qwen-VL이 이를 원래 캐릭터와 비교합니다. 일치도가 낮으면 에이전트가 프롬프트를 다시 작성하여 재시도합니다. 에이전트가 스스로 실수를 바로잡는 것입니다.

  • 일관성 점수(Consistency Score): 시각적 판독기(visual judge)를 사용하여 정체성 일치도를 수치로 나타냅니다. 제가 만든 2개 에피소드 데모의 점수는 0.98이었습니다. 탐정의 모습, 머리카락, 문신이 장면마다 동일하게 유지되었습니다.

기술 스택(Technical Stack):

  • 스크립팅 및 최적화: Qwen3-max
  • 시각적 비평가: Qwen-VL
  • 영상 생성: Qwen Cloud를 통한 Wan text-to-video
  • 백엔드: Alibaba Cloud 기반 FastAPI

이번 구축 과정에서 세 가지 큰 교훈을 얻었습니다:

  1. API 오류 처리: 영상 API에서 무작위로 발생하는 503 오류를 겪었습니다. 로직을 새로 짜는 대신 재시도(retry) 시스템을 구축하기 시작했습니다. 덕분에 끊기던 파이프라인을 무인 운영이 가능한 형태로 바꿀 수 있었습니다.

  2. 비용 관리: 영상 생성은 비용이 많이 듭니다. 예산 내에서 운영하기 위해 720p 해상도를 사용하고 엄격한 지출 한도를 설정했습니다.

  3. 해자(Moat)에 집중하기: 가치는 영상 그 자체에 있는 것이 아닙니다. 가치는 이야기를 일관되게 유지해 주는 '메모리'에 있습니다.

다음 단계로는 더 나은 검색(retrieval)을 위해 립싱크 기능과 캐릭터 라이브러리를 추가할 계획입니다.

Code: https://github.com/calderbuild/continuum

Source: https://dev.to/jasonrobertdestiny/building-continuum-an-agent-that-shoots-a-whole-drama-series-not-one-clip-4g3o

Optional learning community: https://t.me/GyaanSetuAi