Continuum ನಿರ್ಮಾಣ: ಇಡೀ ಡ್ರಾಮಾ ಸರಣಿಯನ್ನು ಚಿತ್ರಿಸುವ ಏಜೆಂಟ್

ಹೆಚ್ಚಿನ AI ಪರಿಕರಗಳು ಕೇವಲ ಒಂದು ಉತ್ತಮ ಕ್ಲಿಪ್ ಅನ್ನು ಮಾತ್ರ ತಯಾರಿಸುತ್ತವೆ. ನೀವು ಒಂದು ಸರಣಿಯನ್ನು ಮಾಡಲು ಪ್ರಯತ್ನಿಸಿದಾಗ ಅವು ವಿಫಲವಾಗುತ್ತವೆ. ಪ್ರತಿ ಶಾಟ್‌ನಲ್ಲಿ ಪಾತ್ರಗಳು ವಿಭಿನ್ನವಾಗಿ ಕಾಣುತ್ತವೆ. ಪ್ರತಿ ಫ್ರೇಮ್ ಅನ್ನು ಮನುಷ್ಯರು ಸರಿಪಡಿಸದ ಹೊರತು ಇದು ಕಥೆ ಹೇಳುವುದನ್ನು ಅಸಾಧ್ಯವಾಗಿಸುತ್ತದೆ.

ಇದನ್ನು ಪರಿಹರಿಸಲು ನಾನು Continuum ಅನ್ನು ನಿರ್ಮಿಸಿದ್ದೇನೆ. ಇದು ವರ್ಟಿಕಲ್ ಮೈಕ್ರೋ-ಡ್ರಾಮಾಗಳಿಗಾಗಿ (vertical micro-dramas) ಒಂದು ಸ್ವಾಯತ್ತ AI ಶೋರನ್ನರ್ ಆಗಿದೆ. ಇದು ಸ್ಕ್ರಿಪ್ಟ್, ಸ್ಟೋರಿಬೋರ್ಡ್‌ಗಳು, ವಿಡಿಯೋ, ಸಂಗೀತ ಮತ್ತು ಎಡಿಟಿಂಗ್ ಅನ್ನು ನಿರ್ವಹಿಸುತ್ತದೆ. ಎಲ್ಲಕ್ಕಿಂತ ಮುಖ್ಯವಾಗಿ, ಇದು ಮೊದಲ ಎಪಿಸೋಡ್‌ನಿಂದ ಎರಡನೇ ಎಪಿಸೋಡ್‌ವರೆಗೆ ಪಾತ್ರಗಳು ಒಂದೇ ರೀತಿ ಕಾಣುವಂತೆ ನೋಡಿಕೊಳ್ಳುತ್ತದೆ.

ವರ್ಟಿಕಲ್ ಮೈಕ್ರೋ-ಡ್ರಾಮಾ ಮಾರುಕಟ್ಟೆಯು ಬಹಳ ದೊಡ್ಡದಾಗಿದೆ. ಇದು 2025 ರಲ್ಲಿ $11B ತಲುಪಿದೆ. ಚೀನಾದಲ್ಲಿ, 95% ಹೊಸ ಶೀರ್ಷಿಕೆಗಳು AI ಅನ್ನು ಬಳಸುತ್ತವೆ.

Continuum ಮೂರು ಪ್ರಮುಖ ವ್ಯವಸ್ಥೆಗಳನ್ನು ಬಳಸಿಕೊಂಡು ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ:

  • A Series Bible: ಈ JSON ಡಾಕ್ಯುಮೆಂಟ್ ಪಾತ್ರಗಳ ನೋಟ, ಪ್ರಾಪರ್ಟಿಗಳು (props) ಮತ್ತು ಸ್ಥಳಗಳನ್ನು ಸಂಗ್ರಹಿಸುತ್ತದೆ. ಒಮ್ಮೆ ಪಾತ್ರದ ನೋಟವನ್ನು ನಿಗದಿಪಡಿಸಿದ ನಂತರ, ಏಜೆಂಟ್ ಮುಖವನ್ನು ಬದಲಾಯಿಸಲು ಸಾಧ್ಯವಿಲ್ಲ. ಇದು ದೃಶ್ಯಗಳಲ್ಲಿನ ವ್ಯತ್ಯಾಸವನ್ನು (visual drift) ತಡೆಯುತ್ತದೆ.

  • A Critic-Optimizer Loop: ಒಂದು ಕ್ಲಿಪ್ ಜನರೇಟ್ ಆದ ನಂತರ, Qwen-VL ಅದನ್ನು ಮೂಲ ಪಾತ್ರದೊಂದಿಗೆ ಹೋಲಿಸುತ್ತದೆ. ಹೊಂದಾಣಿಕೆಯು ಕಡಿಮೆಯಿದ್ದರೆ, ಏಜೆಂಟ್ ಪ್ರಾಂಪ್ಟ್ ಅನ್ನು ಮರುಬರೆಯುತ್ತದೆ ಮತ್ತು ಮತ್ತೆ ಪ್ರಯತ್ನಿಸುತ್ತದೆ. ಏಜೆಂಟ್ ತನ್ನ ತಪ್ಪುಗಳನ್ನು ತಾನೇ ಸರಿಪಡಿಸಿಕೊಳ್ಳುತ್ತದೆ.

  • A Consistency Score: ಗುರುತಿನ ಹೊಂದಾಣಿಕೆಗೆ ನೈಜ ಸಂಖ್ಯೆಯನ್ನು ನೀಡಲು ನಾನು ವಿವಿಶಲ್ ಜಡ್ಜ್ (visual judge) ಅನ್ನು ಬಳಸುತ್ತೇನೆ. ನನ್ನ ಎರಡು ಎಪಿಸೋಡ್‌ಗಳ ಡೆಮೊ 0.98 ಸ್ಕೋರ್ ಮಾಡಿದೆ. ಪತ್ತೇದಾರಿ, ಅವನ ಕೂದಲು ಮತ್ತು ಅವನ ಟ್ಯಾಟೂ ಎಲ್ಲಾ ದೃಶ್ಯಗಳಲ್ಲಿ ಒಂದೇ ರೀತಿ ಇದ್ದವು.

Technical Stack:

  • Scripting and Optimization: Qwen3-max
  • Visual Critic: Qwen-VL
  • Video Generation: Qwen Cloud ಮೂಲಕ Wan text-to-video
  • Backend: Alibaba Cloud ನಲ್ಲಿ FastAPI

ಈ ನಿರ್ಮಾಣದ ಸಮಯದಲ್ಲಿ ನಾನು ಮೂರು ದೊಡ್ಡ ಪಾಠಗಳನ್ನು ಕಲಿತೆ:

  1. API ದೋಷಗಳನ್ನು ನಿರ್ವಹಿಸಿ: ನಾನು ವಿಡಿಯೋ API ಯಿಂದ ಯಾದೃಚ್ಛಿಕ 503 ದೋಷಗಳನ್ನು ಎದುರಿಸಿದೆ. ನಾನು ನನ್ನ ಲಾಜಿಕ್ ಅನ್ನು ಮರುಬರೆಯುವುದನ್ನು ನಿಲ್ಲಿಸಿ, ರಿಟ್ರೈ ಸಿಸ್ಟಮ್ (retry system) ಅನ್ನು ನಿರ್ಮಿಸಲು ಪ್ರಾರಂಭಿಸಿದೆ. ಇದು ಹಾನಿಗೊಳಗಾದ ಪೈಪ್‌ಲೈನ್ ಅನ್ನು ಸ್ವಯಂಚಾಲಿತ ಪೈಪ್‌ಲೈನ್‌ ಆಗಿ ಬದಲಾಯಿಸಿತು.

  2. ನಿಮ್ಮ ವೆಚ್ಚವನ್ನು ನಿಯಂತ್ರಿಸಿ: ವಿಡಿಯೋ ಜನರೇಷನ್ ದುಬಾರಿಯಾಗಿದೆ. ನಾನು ಬಜೆಟ್‌ನಲ್ಲಿ ಇರಲು 720p ರೆಸಲ್ಯೂಶನ್ ಬಳಸಿದೆ ಮತ್ತು ಕಟ್ಟುನಿಟ್ಟಾದ ವೆಚ್ಚದ ಮಿತಿಗಳನ್ನು (spending caps) ನಿಗದಿಪಡಿಸಿದೆ.

  3. ನಿಮ್ಮ ಪ್ರಬಲ ಅಂಶದ (moat) ಮೇಲೆ ಗಮನಹರಿಸಿ: ಮೌಲ್ಯವು ವಿಡಿಯೋದಲ್ಲಿದೆ ಎಂದಲ್ಲ. ಕಥೆಯನ್ನು ಸುಸಂಬದ್ಧವಾಗಿಡುವ ನೆನಪಿನಲ್ಲಿ (memory) ಮೌಲ್ಯವಿದೆ.

ಮುಂದಿನ ಹಂತಗಳಲ್ಲಿ ಇನ್ನೂ ಉತ್ತಮವಾದ ರಿಟ್ರಿ越ಲ್ (retrieval) ಗಾಗಿ ಲಿಪ್-ಸಿಂಕಿಂಗ್ ಮತ್ತು ಪಾತ್ರಗಳ ಲೈಬ್ರರಿಯನ್ನು ಸೇರಿಸುವುದು ಸೇರಿದೆ.

Code: https://github.com/calderbuild/continuum

Source: https://dev.to/jasonrobertdestiny/building-continuum-an-agent-that-shoots-a-whole-drama-series-not-one-clip-4g3o

Optional learning community: https://t.me/GyaanSetuAi