Continuum ਬਣਾਉਣਾ: ਇੱਕ ਅਜਿਹਾ Agent ਜੋ ਪੂਰੀ ਡਰਾਮਾ ਸੀਰੀਜ਼ ਬਣਾਉਂਦਾ ਹੈ

ਜ਼ਿਆਦਾਤਰ AI ਟੂਲ ਇੱਕ ਵਧੀਆ ਕਲਿੱਪ ਤਾਂ ਬਣਾ ਲੈਂਦੇ ਹਨ। ਪਰ ਜਦੋਂ ਤੁਸੀਂ ਇੱਕ ਸੀਰੀਜ਼ ਬਣਾਉਣ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰਦੇ ਹੋ, ਤਾਂ ਉਹ ਅਸਫਲ ਰਹਿੰਦੇ ਹਨ। ਹਰ ਸ਼ਾਟ ਵਿੱਚ ਪਾਤਰ ਵੱਖਰੇ ਦਿਖਾਈ ਦਿੰਦੇ ਹਨ। ਇਸ ਕਾਰਨ ਹਰ ਫਰੇਮ ਨੂੰ ਇਨਸਾਨ ਦੁਆਰਾ ਠੀਕ ਕੀਤੇ ਬਿਨਾਂ ਕਹਾਣੀ ਸੁਣਾਉਣਾ ਅਸੰਭਵ ਹੋ ਜਾਂਦਾ ਹੈ।

ਮੈਂ ਇਸ ਸਮੱਸਿਆ ਨੂੰ ਹੱਲ ਕਰਨ ਲਈ Continuum ਬਣਾਇਆ ਹੈ। ਇਹ ਵਰਟੀਕਲ ਮਾਈਕਰੋ-ਡਰਾਮਿਆਂ (vertical micro-dramas) ਲਈ ਇੱਕ ਖੁਦਮੁਖਤਿਆਰ AI showrunner ਹੈ। ਇਹ ਸਕ੍ਰਿਪਟ, ਸਟੋਰੀਬੋਰਡ, ਵੀਡੀਓ, ਸੰਗੀਤ ਅਤੇ ਐਡੀਟਿੰਗ ਨੂੰ ਸੰਭਾਲਦਾ ਹੈ। ਸਭ ਤੋਂ ਮਹੱਤਵਪੂਰਨ ਗੱਲ ਇਹ ਹੈ ਕਿ ਇਹ ਪਹਿਲੇ ਐਪੀਸੋਡ ਤੋਂ ਲੈ ਕੇ ਦੂਜੇ ਐਪੀਸੋਡ ਤੱਕ ਪਾਤਰਾਂ ਦੀ ਦਿੱਖ ਨੂੰ ਇੱਕੋ ਜਿਹਾ ਰੱਖਦਾ ਹੈ।

ਵਰਟੀਕਲ ਮਾਈਕਰੋ-ਡਰਾਮਾ ਮਾਰਕੀਟ ਬਹੁਤ ਵੱਡੀ ਹੈ। 2025 ਵਿੱਚ ਇਹ $11B ਤੱਕ ਪਹੁੰਚ ਗਈ ਹੈ। ਚੀਨ ਵਿੱਚ, 95% ਨਵੇਂ ਟਾਈਟਲ AI ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹਨ।

Continuum ਤਿੰਨ ਮੁੱਖ ਪ੍ਰਣਾਲੀਆਂ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਕੰਮ ਕਰਦਾ ਹੈ:

  • ਇੱਕ Series Bible: ਇਹ JSON ਦਸਤਾਵੇਜ਼ ਪਾਤਰਾਂ ਦੀ ਦਿੱਖ, ਪ੍ਰੌਪਸ (props) ਅਤੇ ਲੋਕੇਸ਼ਨਾਂ ਨੂੰ ਸਟੋਰ ਕਰਦਾ ਹੈ। ਇੱਕ ਵਾਰ ਪਾਤਰ ਦੀ ਦਿੱਖ ਸੈੱਟ ਹੋ ਜਾਣ ਤੋਂ ਬਾਅਦ, agent ਚਿਹਰਾ ਨਹੀਂ ਬਦਲ ਸਕਦਾ। ਇਹ ਵਿਜ਼ੂਅਲ ਡ੍ਰਿਫਟ (visual drift) ਨੂੰ ਰੋਕਦਾ ਹੈ।

  • ਇੱਕ Critic-Optimizer Loop: ਇੱਕ ਕਲਿੱਪ ਬਣਨ ਤੋਂ ਬਾਅਦ, Qwen-VL ਇਸਦੀ ਤੁਲਨਾ ਅਸਲ ਪਾਤਰ ਨਾਲ ਕਰਦਾ ਹੈ। ਜੇਕਰ ਮੇਲ ਘੱਟ ਹੈ, ਤਾਂ agent ਪ੍ਰੋਂਪਟ ਨੂੰ ਦੁਬਾਰਾ ਲਿਖਦਾ ਹੈ ਅਤੇ ਦੁਬਾਰਾ ਕੋਸ਼ਿਸ਼ ਕਰਦਾ ਹੈ। Agent ਆਪਣੀਆਂ ਗਲਤੀਆਂ ਨੂੰ ਖੁਦ ਠੀਕ ਕਰਦਾ ਹੈ।

  • ਇੱਕ Consistency Score: ਮੈਂ ਪਛਾਣ ਮੇਲ (identity matching) ਲਈ ਇੱਕ ਅਸਲ ਅੰਕ ਦੇਣ ਲਈ ਇੱਕ ਵਿਜ਼ੂਅਲ ਜੱਜ ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹਾਂ। ਮੇਰੇ ਦੋ-ਐਪੀਸੋਡ ਦੇ ਡੈਮੋ ਨੇ 0.98 ਸਕੋਰ ਕੀਤਾ। ਡਿਟੈਕਟਿਵ, ਉਸਦੇ ਵਾਲ ਅਤੇ ਉਸਦਾ ਟੈਟੂ ਸਾਰੇ ਸੀਨਾਂ ਵਿੱਚ ਇੱਕੋ ਜਿਹੇ ਰਹੇ।

Technical Stack:

  • Scripting ਅਤੇ Optimization: Qwen3-max
  • Visual Critic: Qwen-VL
  • Video Generation: Qwen Cloud ਰਾਹੀਂ Wan text-to-video
  • Backend: Alibaba Cloud 'ਤੇ FastAPI

ਮੈਂ ਇਸ ਬਿਲਡ ਦੌਰਾਨ ਤਿੰਨ ਵੱਡੀਆਂ ਸਿੱਖਿਆਵਾਂ ਪ੍ਰਾਪਤ ਕੀਤੀਆਂ:

  1. API ਗਲਤੀਆਂ ਨੂੰ ਸੰਭਾਲੋ: ਮੈਨੂੰ ਵੀਡੀਓ API ਤੋਂ ਰੈਂਡਮ 503 ਗਲਤੀਆਂ ਦਾ ਸਾਹਮਣਾ ਕਰਨਾ ਪਿਆ। ਮੈਂ ਆਪਣੀ ਲੌਜਿਕ ਨੂੰ ਦੁਬਾਰਾ ਲਿਖਣਾ ਬੰਦ ਕਰ ਦਿੱਤਾ ਅਤੇ ਇੱਕ ਰੀਟ੍ਰਾਈ (retry) ਸਿਸਟਮ ਬਣਾਉਣਾ ਸ਼ੁਰੂ ਕਰ ਦਿੱਤਾ। ਇਸ ਨੇ ਇੱਕ ਟੁੱਟੀ ਹੋਈ ਪਾਈਪਲਾਈਨ ਨੂੰ ਇੱਕ ਆਟੋਮੇਟਡ ਪਾਈਪਲਾਈਨ ਵਿੱਚ ਬਦਲ ਦਿੱਤਾ।

  2. ਆਪਣੀ ਲਾਗਤ 'ਤੇ ਕੰਟਰੋਲ ਰੱਖੋ: ਵੀਡੀਓ ਜਨਰੇਸ਼ਨ ਮਹਿੰਗੀ ਹੈ। ਬਜਟ ਦੇ ਅੰਦਰ ਰਹਿਣ ਲਈ ਮੈਂ 720p ਰੈਜ਼ੋਲਿਊਸ਼ਨ ਦੀ ਵਰਤੋਂ ਕੀਤੀ ਅਤੇ ਖਰਚੇ ਦੀਆਂ ਸਖ਼ਤ ਸੀਮਾਵਾਂ ਸੈੱਟ ਕੀਤੀਆਂ।

  3. ਮੋਟ (moat) 'ਤੇ ਧਿਆਨ ਦਿਓ: ਕੀਮਤ ਵੀਡੀਓ ਵਿੱਚ ਨਹੀਂ ਹੈ। ਕੀਮਤ ਉਸ ਮੈਮੋਰੀ ਵਿੱਚ ਹੈ ਜੋ ਕਹਾਣੀ ਨੂੰ ਇਕਸਾਰ ਰੱਖਦੀ ਹੈ।

ਅਗਲੇ ਕਦਮਾਂ ਵਿੱਚ ਹੋਰ ਬਿਹਤਰ ਰਿਟ੍ਰੀਵਲ ਲਈ ਲਿਪ-ਸਿੰਕਿੰਗ ਅਤੇ ਇੱਕ ਪਾਤਰ ਲਾਇਬ੍ਰੇਰੀ ਜੋੜਨਾ ਸ਼ਾਮਲ ਹੈ।

Code: https://github.com/calderbuild/continuum

Source: https://dev.to/jasonrobertdestiny/building-continuum-an-agent-that-shoots-a-whole-drama-series-not-one-clip-4g3o

Optional learning community: https://t.me/GyaanSetuAi