ਸ਼ੁਰੂ ਤੋਂ ਹੀ ਇੱਕ ਵਿਜ਼ਨ-ਲੈਂਗੂਏਜ ਮਾਡਲ ਨੂੰ ਸਿਖਲਾਈ ਦੇਣਾ ਹਮੇਸ਼ਾ ਇੱਕ ਸਰੋਤ-ਭਾਰੀ (resource-heavy) ਕੰਮ ਰਿਹਾ ਹੈ। ਜ਼ਿਆਦਾਤਰ ਆਧੁਨਿਕ ਤਰੀਕੇ ਡਿਸਟੀਲੇਸ਼ਨ (distillation) 'ਤੇ ਨਿਰਭਰ ਕਰਦੇ ਹਨ, ਜਿਸਦਾ ਮਤਲਬ ਹੈ ਕਿ ਤੁਹਾਨੂੰ ਪਹਿਲਾਂ ਇੱਕ ਸ਼ਕਤੀਸ਼ਾਲੀ ਟੀਚਰ ਮਾਡਲ ਤੱਕ ਪਹੁੰਚ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ ਜੋ ਆਮ ਤੌਰ 'ਤੇ ਉਸ ਸਟੂਡੈਂਟ ਮਾਡਲ ਨਾਲੋਂ ਵੱਡਾ ਹੁੰਦਾ ਹੈ ਜਿਸ ਨੂੰ ਤੁਸੀਂ ਸਿਖਲਾਈ ਦੇਣ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰ ਰਹੇ ਹੋ। ਤੁਸੀਂ ਉਸ ਟੀਚਰ ਨੂੰ ਚਲਾਉਣ ਲਈ ਕੰਪਿਊਟ (compute) ਲਈ ਭੁਗਤਾਨ ਕਰਦੇ ਹੋ, ਉਸਨੂੰ ਡਾਟਾ ਫੀਡ ਕਰਨ ਵਾਲੀ ਪਾਈਪਲਾਈਨ ਦਾ ਪ੍ਰਬੰਧ ਕਰਦੇ ਹੋ, ਅਤੇ ਦੋਵਾਂ ਮਾਡਲਾਂ ਨੂੰ ਸਿੰਕ ਵਿੱਚ ਰੱਖਣ ਦੇ ਇੰਜੀਨੀਅਰਿੰਗ ਓਵਰਹੈੱਡ (engineering overhead) ਨਾਲ ਨਜਿੱਠਦੇ ਹੋ। ਛੋਟੀਆਂ ਟੀਮਾਂ ਜਾਂ ਐਜ ਹਾਰਡਵੇਅਰ (edge hardware) ਲਈ ਮਾਡਲ ਬਣਾਉਣ ਵਾਲੇ ਕਿਸੇ ਵੀ ਵਿਅਕਤੀ ਲਈ, ਇਹ ਸੈੱਟਅੱਪ ਇੱਕ ਵੱਡੀ ਰੁਕਾਵਟ ਪੈਦਾ ਕਰਦਾ ਹੈ। ਜਾਂ ਤਾਂ ਤੁਸੀਂ ਇੱਕ ਵਿਸ਼ਾਲ ਸੈਕੰਡਰੀ ਨੈੱਟਵਰਕ ਲਈ ਬਜਟ ਲੱਭਦੇ ਹੋ, ਜਾਂ ਤੁਸੀਂ ਕਮਜ਼ੋਰ ਪ੍ਰਦਰਸ਼ਨ ਨਾਲ ਸਮਝੌਤਾ ਕਰ ਲੈਂਦੇ ਹੋ।
ਵਿਜ਼ੂਅਲ ਕੰਟਰਾਸਟਿਵ ਸੈਲਫ-ਡਿਸਟੀਲੇਸ਼ਨ, ਜਾਂ VCSD, ਉਸ ਰੁਕਾਵਟ ਨੂੰ ਪੂਰੀ ਤਰ੍ਹਾਂ ਖਤਮ ਕਰ ਦਿੰਦਾ ਹੈ। ਕਿਸੇ ਬਾਹਰੀ ਟੀਚਰ ਵੱਲ ਦੇਖਣ ਦੀ ਬਜਾਏ, ਮਾਡਲ ਖੁਦ ਦੀ ਨਿਗਰਾਨੀ ਕਰਨਾ ਸਿੱਖਦਾ ਹੈ। ਇਹ ਤਕਨੀਕ ਵੱਡੇ ਮਾਡਲਾਂ ਅਤੇ ਵਾਧੂ ਨਿਗਰਾਨੀ 'ਤੇ ਆਮ ਨਿਰਭਰਤਾ ਨੂੰ ਖਤਮ ਕਰ ਦਿੰਦੀ ਹੈ, ਫਿਰ ਵੀ ਇਹ ਬੈਂਚਮਾਰਕ ਸਕੋਰਾਂ ਨੂੰ ਉੱਪਰ ਲੈ ਜਾਂਦੀ ਹੈ। ਨਤੀਜਾ ਇੱਕ ਅਜਿਹਾ ਟ੍ਰੇਨਿੰਗ ਲੂਪ ਹੈ ਜੋ ਵਧੇਰੇ ਸੁਚਾਰੂ, ਸਸਤਾ ਅਤੇ ਦੁਬਾਰਾ ਤਿਆਰ ਕਰਨ ਵਿੱਚ ਆਸਾਨ ਹੈ।
ਬਾਹਰੀ ਟੀਚਰਾਂ ਦਾ ਲੁਕਿਆ ਹੋਇਆ ਟੈਕਸ
ਵਿਜ਼ਨ-ਲੈਂਗੂਏਜ ਦੀ ਦੁਨੀਆ ਵਿੱਚ ਸਟੈਂਡਰਡ ਨੌਲੇਜ ਡਿਸਟੀਲੇਸ਼ਨ ਇੱਕ ਜਾਣੇ-ਪਛਾਣੇ ਪੈਟਰਨ ਦੀ ਪਾਲਣਾ ਕਰਦੀ ਹੈ। ਇੱਕ ਵੱਡਾ, ਸਮਰੱਥ ਮਾਡਲ ਸੌਫਟ ਟਾਰਗੇਟਸ (soft targets), ਅਟੈਂਸ਼ਨ ਮੈਪਸ (attention maps), ਜਾਂ ਰੀਜ਼ਨਿੰਗ ਟ੍ਰੇਸ (reasoning traces) ਪੈਦਾ ਕਰਦਾ ਹੈ। ਛੋਟਾ ਸਟੂਡੈਂਟ ਮਾਡਲ ਇਹਨਾਂ ਆਉਟਪੁੱਟ ਦੀ ਨਕਲ ਕਰਨ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰਦਾ ਹੈ। ਵਿਚਾਰ ਸਹੀ ਹੈ, ਪਰ ਇਸਦਾ ਲਾਗੂਕਰਨ ਭਾਰੀ ਹੈ। ਤੁਹਾਨੂੰ ਲਗਾਤਾਰ ਟੀਚਰ ਨੂੰ ਚਲਾਉਣ ਲਈ GPUs ਜਾਂ TPUs ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ, ਜੋ ਅਕਸਰ ਸਟੂਡੈਂਟ ਨਾਲੋਂ ਵੱਡੇ ਬੈਚ ਸਾਈਜ਼ ਜਾਂ ਉੱਚ ਸ਼ੁੱਧਤਾ (higher precision) 'ਤੇ ਹੁੰਦੇ ਹਨ। ਤੁਹਾਨੂੰ ਸੰਚਿਤ (curated) ਡਾਟਾ ਪੇਅਰਿੰਗ ਦੀ ਵੀ ਲੋੜ ਹੁੰਦੀ ਹੈ, ਅਤੇ ਕਦੇ-ਕਦੇ ਗਰਾਊਂਡ-ਟਰੂਥ ਰੀਜ਼ਨਿੰਗ ਚੇਨਾਂ ਵਰਗੀ ਵਿਸ਼ੇਸ਼ ਜਾਣਕਾਰੀ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ ਜੋ ਇਕੱਠੀ ਕਰਨ ਲਈ ਮਹਿੰਗੀ ਹੁੰਦੀ ਹੈ ਜਾਂ ਤੁਹਾਡੇ ਟਾਰਗੇਟ ਡੋਮੇਨ ਲਈ ਉਪਲਬਧ ਨਹੀਂ ਹੁੰਦੀ।
ਇਹ ਲੋੜਾਂ ਪ੍ਰਯੋਗਾਂ ਵਿੱਚ ਦੇਰੀ (latency) ਪੈਦਾ ਕਰਦੀਆਂ ਹਨ। ਇਹ ਬੁਨਿਆਦੀ ਢਾਂਚੇ ਦੇ ਬਿੱਲਾਂ ਨੂੰ ਵਧਾਉਂਦੀਆਂ ਹਨ। ਅਤੇ ਇਹ ਤੁਹਾਡੀ ਪਾਈਪਲਾਈਨ ਵਿੱਚ ਇੱਕ ਅਸਥਿਰ ਨਿਰਭਰਤਾ ਪੈਦਾ ਕਰਦੀਆਂ ਹਨ: ਜੇਕਰ ਟੀਚਰ ਮਾਡਲ ਬਦਲਦਾ ਹੈ ਜਾਂ ਉਪਲਬਧ ਨਹੀਂ ਰਹਿੰਦਾ, ਤਾਂ ਤੁਹਾਡੀ ਟ੍ਰੇਨਿੰਗ ਰਣਨੀਤੀ ਟੁੱਟ ਜਾਂਦੀ ਹੈ। VCSD ਨੂੰ ਉਸ ਅਸਥਿਰਤਾ ਨੂੰ ਖਤਮ ਕਰਨ ਲਈ ਤਿਆਰ ਕੀਤਾ ਗਿਆ ਸੀ।
ਇੱਕ ਸਵੈ-ਨਿਰਭਰ ਟ੍ਰੇਨਿੰਗ ਲੂਪ
VCSD ਦੇ ਪਿੱਛੇ ਮੁੱਖ ਵਿਚਾਰ ਬਹੁਤ ਹੀ ਸਰਲ ਹੈ। ਸਿਸਟਮ ਸਟੂਡੈਂਟ ਮਾਡਲ ਦਾ ਹੀ ਇੱਕ ਐਕਸਪੋਨੈਂਸ਼ੀਅਲ ਮੂਵਿੰਗ ਐਵਰੇਜ (Exponential Moving Average), ਜਾਂ EMA, ਬਣਾਈ ਰੱਖਦਾ ਹੈ। ਇਹ EMA ਇੱਕ ਸਥਿਰ ਰੈਫਰੈਂਸ ਪੁਆਇੰਟ ਵਜੋਂ ਕੰਮ ਕਰਦਾ ਹੈ, ਨਾ ਕਿ ਇੱਕ ਬਾਹਰੀ ਓਰਾਕਲ (oracle) ਵਜੋਂ। ਹਰ ਟ੍ਰੇਨਿੰਗ ਚਿੱਤਰ ਲਈ, ਪਾਈਪਲਾਈਨ ਦੋ ਇਨਪੁੱਟ ਪੈਦਾ ਕਰਦੀ ਹੈ। ਪਹਿਲਾ ਅਸਲ ਚਿੱਤਰ ਹੈ। ਦੂਜਾ ਉਸੇ ਚਿੱਤਰ ਦਾ ਉਹ ਰੂਪ ਹੈ ਜਿਸਦਾ ਕੰਟੈਂਟ (content) ਮਿਟਾ ਦਿੱਤਾ ਗਿਆ ਹੈ।
ਮਾਡਲ ਫਿਰ ਦੋਵਾਂ ਵਰਜ਼ਨਾਂ ਦੇ ਆਪਣੇ ਟੋਕਨ-ਲੇਵਲ ਦੀਆਂ ਪ੍ਰਤੀਕਿਰਿਆਵਾਂ ਦੀ ਤੁਲਨਾ ਕਰਦਾ ਹੈ। ਜਦੋਂ ਵਿਜ਼ੂਅਲ ਕੰਟੈਂਟ ਗਾਇਬ ਹੋ ਜਾਂਦਾ ਹੈ, ਤਾਂ ਕੁਝ ਟੋਕਨ ਬਹੁਤ ਤੇਜ਼ੀ ਨਾਲ ਬਦਲ ਜਾਂਦੇ ਹਨ। ਦੂਜੇ ਲਗਭਗ ਉਵੇਂ ਹੀ ਰਹਿੰਦੇ ਹਨ। ਜੋ ਟੋਕਨ ਬਦਲਦੇ ਹਨ, ਉਹ ਉਹ ਹਨ ਜੋ ਅਸਲ ਵਿੱਚ ਮਾਡਲ ਦੇ ਫੈਸਲਿਆਂ ਨੂੰ ਅਸਲ ਵਿਜ਼ੂਅਲ ਸਬੂਤਾਂ ਨਾਲ ਜੋੜ ਰਹੇ ਸਨ। ਜੋ ਟੋਕਨ ਸਥਿਰ ਰਹਿੰਦੇ ਹਨ, ਉਹ ਸ਼ਾਇਦ ਸਿਰਫ ਸਤਹੀ ਪੈਟਰਨਾਂ, ਅੰਕੜਾਤਮਕ ਪੱਖਪਾਤ (statistical biases), ਜਾਂ ਭਾਸ਼ਾ ਦੇ ਪੂਰਵ ਅਨੁਮਾਨਾਂ (language priors) 'ਤੇ ਨਿਰਭਰ ਕਰ ਰਹੇ ਸਨ।
ਮਿਟਾਏ ਜਾਣ 'ਤੇ ਪ੍ਰਤੀਕਿਰਿਆ ਕਰਨ ਵਾਲੇ ਟੋਕਨਾਂ 'ਤੇ ਧਿਆਨ ਕੇਂਦਰਿਤ ਕਰਕੇ, ਮਾਡਲ ਸਿੱਖਦਾ ਹੈ ਕਿ ਕਿਹੜੀਆਂ ਵਿਜ਼ੂਅਲ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਸੱਚਮੁੱਚ ਮਹੱਤਵਪੂਰਨ ਹਨ। ਇਹ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਢੰਗ ਨਾਲ ਆਪਣੇ ਆਪ ਨੂੰ ਪੁੱਛਦਾ ਹੈ, “ਮੈਂ ਕੀ ਦੇਖਣਾ ਬੰਦ ਕਰ ਦਿੱਤਾ, ਅਤੇ ਉਸ ਨਾਲ ਮੇਰੇ ਆਉਟਪੁੱਟ ਵਿੱਚ ਕੀ ਬਦਲਾਅ ਆਇਆ?” ਉਹ ਸਵਾਲ ਟ੍ਰੇਨਿੰਗ ਸਿਗਨਲ ਬਣ ਜਾਂਦਾ ਹੈ। ਪੂਰੀ ਪ੍ਰਕਿਰਿਆ ਮੌਜੂਦਾ ਲੂਪ ਦੇ ਅੰਦਰ ਹੀ ਹੁੰਦੀ ਹੈ। ਕਿਸੇ ਹੋਰ ਸਰਵਰ 'ਤੇ ਬੈਠੇ ਮਲਟੀ-ਬਿਲੀਅਨ-ਪੈਰਾਮੀਟਰ ਟੀਚਰ ਰਾਹੀਂ ਕੋਈ ਦੂਜੀ ਫਾਰਵਰਡ ਪਾਸ (forward pass) ਨਹੀਂ ਹੁੰਦੀ।
ਮਕੈਨਿਜ਼ਮ ਨੂੰ ਡੀਕੋਡ ਕਰਨਾ
ਇਹ ਸਮਝਣ ਲਈ ਕਿ ਇਹ ਕਿਉਂ ਕੰਮ ਕਰਦਾ ਹੈ, ਇਸ ਬਾਰੇ ਸੋਚੋ ਕਿ ਵਿਜ਼ਨ-ਲੈਂਗੂਏਜ ਮਾਡਲ ਅਕਸਰ ਕਿਵੇਂ ਵਿਵਹਾਰ ਕਰਦੇ ਹਨ। ਇੱਕ ਮਾਡਲ ਕਿਸੇ ਚਿੱਤਰ ਦਾ ਸਹੀ ਕੈਪਸ਼ਨ ਲਿਖ ਸਕਦਾ ਹੈ ਕਿਉਂਕਿ ਉਹ ਟੈਕਸਟ ਪ੍ਰੋਂਪਟ ਵਿੱਚ ਆਲੇ-ਦੁਆਲੇ ਦੇ ਸੰਦਰਭ ਨੂੰ ਪਛਾਣਦਾ ਹੈ, ਜਾਂ ਕਿਉਂਕਿ ਉਸਨੇ ਪ੍ਰੀ-ਟ੍ਰੇਨਿੰਗ ਦੌਰਾਨ ਹਜ਼ਾਰਾਂ ਵਾਰ ਅਜਿਹੇ ਚ
These are not marginal bumps. At the 2B scale, that is nearly five percentage points. At the 8B scale, the jump is almost four points. In vision-language benchmarks, where improvements often come in fractions of a percent, these shifts signal that the model is learning substantially better visual grounding, not just tuning its text decoder.
Real-World Impact for Builders
VCSD matters because it changes the economics of training without touching the economics of deployment.
First, cost falls immediately. You do not need to provision, load, or run a massive teacher model in parallel with your training job. Your compute budget shrinks to the student model and its EMA shadow, which you are already maintaining.
Second, the data pipeline stays simple. You do not need privileged answers, chain-of-thought traces, or other hard-to-source supervision signals. If you have image-text pairs, you have everything you need. An erased copy of each image is trivial to generate compared to collecting human reasoning annotations.
Third, inference speed remains unchanged. Everything VCSD does happens during training. Once you deploy the model, it is just a standard Qwen3-VL checkpoint. There are no extra branches, no auxiliary heads, and no runtime overhead. That zero-cost deployment profile makes it ideal for both edge devices