AI ਨੂੰ ਕਲਾਉਡ (cloud) ਵਿੱਚ ਰਹਿਣ ਦੀ ਲੋੜ ਨਹੀਂ ਹੈ। ਪਿਛਲੇ ਇੱਕ ਸਾਲ ਦੌਰਾਨ, ਇਸ ਖੇਤਰ ਵਿੱਚ ਸਭ ਤੋਂ ਦਿਲਚਸਪ ਬਦਲਾਅ ਕੋਈ ਵੱਡਾ ਮਾਡਲ ਜਾਂ ਕੋਈ ਚਮਕਦਾਰ ਚੈਟਬੋਟ ਨਹੀਂ ਰਿਹਾ ਹੈ। ਇਹ ਤੁਹਾਡੇ ਡੈਸਕ ਦੇ ਹੇਠਾਂ ਰੱਖੇ ਆਮ ਹਾਰਡਵੇਅਰ 'ਤੇ ਭਾਰੀ ਵਰਕਲੋਡ (workloads) ਦਾ ਸ਼ਾਂਤ ਪ੍ਰਵਾਸ ਹੈ, ਅਤੇ ਇਹ ਵਧਦੀ ਹੋਈ ਸਮਝ ਹੈ ਕਿ ਪ੍ਰੀਮੀਅਮ APIs 'ਤੇ ਪੈਸਾ ਖਰਚਣਾ ਅਕਸਰ ਬੇਲੋੜਾ ਹੁੰਦਾ ਹੈ। ਤਿੰਨ ਤਾਜ਼ਾ ਵਿਕਾਸ ਇਸ ਨੂੰ ਹੁਣੇ ਹੀ ਵਿਹਾਰਕ ਬਣਾਉਂਦੇ ਹਨ: ਇੱਕ ਨਵਾਂ quantization engine ਜੋ ਇਮੇਜ ਜਨਰੇਸ਼ਨ ਮਾਡਲਾਂ ਨੂੰ ਉਹਨਾਂ ਦੇ ਆਉਟਪੁੱਟ ਨੂੰ ਖਰਾਬ ਕੀਤੇ ਬਿਨਾਂ ਛੋਟਾ ਕਰ ਦਿੰਦਾ ਹੈ, ਇੱਕ ਡੈਸਕਟਾਪ ਏਜੰਟ ਜੋ ਤੁਹਾਡਾ ਡੇਟਾ ਤੁਹਾਡੀ ਮਸ਼ੀਨ 'ਤੇ ਹੀ ਰੱਖਦਾ ਹੈ, ਅਤੇ ਇੱਕ ਬਹੁਤ ਹੀ ਸਰਲ ਲਾਗਤ ਘਟਾਉਣ ਦੀ ਰਣਨੀਤੀ ਜਿਸ ਨੂੰ ਬਹੁਤ ਸਾਰੀਆਂ ਟੀਮਾਂ ਨਜ਼ਰਅੰਦਾਜ਼ ਕਰ ਦਿੰਦੀਆਂ ਹਨ।

Quantized Diffusion ਉੱਥੇ ਚੱਲਦਾ ਹੈ ਜਿੱਥੇ ਤੁਸੀਂ ਰਹਿੰਦੇ ਹੋ

Hugging Face ਨੇ Nunchaku ਲਾਂਚ ਕੀਤਾ ਹੈ, ਜੋ ਕਿ ਖਾਸ ਤੌਰ 'ਤੇ diffusion ਮਾਡਲਾਂ ਲਈ ਬਣਾਇਆ ਗਿਆ ਇੱਕ 4-bit quantization ਤਰੀਕਾ ਹੈ। ਇਹ ਸਿੱਧਾ ਪ੍ਰਸਿੱਧ Diffusers library ਵਿੱਚ ਜੁੜ ਜਾਂਦਾ ਹੈ, ਜਿਸਦਾ ਮਤਲਬ ਹੈ ਕਿ ਤੁਸੀਂ ਆਪਣੇ ਪਾਈਪਲਾਈਨ (pipeline) ਨੂੰ ਸ਼ੁਰੂ ਤੋਂ ਬਣਾਏ ਬਿਨਾਂ ਇਸਨੂੰ ਮੌਜੂਦਾ ਸੈੱਟਅੱਪ ਵਿੱਚ ਵਰਤ ਸਕਦੇ ਹੋ।

4-bit quantization ਦਾ ਅਸਲ ਵਿੱਚ ਕੀ ਮਤਲਬ ਹੈ? ਸੌਖੇ ਸ਼ਬਦਾਂ ਵਿੱਚ, ਇਹ ਇੱਕ ਮਾਡਲ ਦੇ weights ਦੀ ਨੰਬਰਲ ਪ੍ਰੀਸੀਜ਼ਨ (numerical precision) ਨੂੰ ਕੰਪਰੈੱਸ ਕਰਦਾ ਹੈ। ਹਰੇਕ ਪੈਰਾਮੀਟਰ ਨੂੰ ਪੂਰੀ 32-bit ਜਾਂ 16-bit ਪ੍ਰੀਸੀਜ਼ਨ 'ਤੇ ਸਟੋਰ ਕਰਨ ਦੀ ਬਜਾਏ, Nunchaku ਹਰੇਕ weight ਨੂੰ ਸਿਰਫ਼ ਚਾਰ ਬਿੱਟਾਂ ਤੱਕ ਸੀਮਤ ਕਰ ਦਿੰਦਾ ਹੈ। ਮਾਡਲ ਅਸਲ ਡਿਸਕ ਸਪੇਸ ਦਾ ਇੱਕ ਛੋਟਾ ਹਿੱਸਾ ਲੈਂਦਾ ਹੈ ਅਤੇ, ਸਭ ਤੋਂ ਮਹੱਤਵਪੂਰਨ ਗੱਲ ਇਹ ਹੈ ਕਿ ਲੋਡ ਹੋਣ ਤੋਂ ਬਾਅਦ ਇਸਨੂੰ ਬਹੁਤ ਘੱਟ VRAM ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ। 8 GB ਜਾਂ 12 GB VRAM ਵਾਲੇ ਕੰਜ਼ਿਊਮਰ GPUs ਵਾਲੇ ਉਪਭੋਗਤਾਵਾਂ ਲਈ, ਇਹ ਇੱਕ ਪ੍ਰੋਗਰੈਸ ਬਾਰ ਨੂੰ ਹੌਲੀ-ਹੌਲੀ ਚਲਦੇ ਦੇਖਣ ਅਤੇ ਅਸਲ ਵਿੱਚ ਇੱਕ ਤਸਵੀਰ ਬਣਾਉਣ ਦੇ ਵਿਚਕਾਰ ਦਾ ਫਰਕ ਹੈ।

ਇਸਦਾ ਵਿਹਾਰਕ ਪ੍ਰਭਾਵ ਮਹੱਤਵਪੂਰਨ ਹੈ। ਤੁਸੀਂ ਵੱਡੇ diffusion ਮਾਡਲਾਂ ਨੂੰ ਅਜਿਹੇ ਹਾਰਡਵੇਅਰ 'ਤੇ ਚਲਾ ਸਕਦੇ ਹੋ ਜਿਸਨੂੰ ਪਹਿਲਾਂ ਇਸ ਕੰਮ ਲਈ ਕਮਜ਼ੋਰ ਮੰਨਿਆ ਜਾਂਦਾ ਸੀ। ਕੁਝ ਪੀੜ੍ਹੀਆਂ ਪਹਿਲਾਂ ਦਾ ਇੱਕ ਮਿਡ-ਰੇਂਜ ਕਾਰਡ ਅਚਾਨਕ ਹਾਈ-ਰੈਜ਼ੋਲਿਊਸ਼ਨ ਇਮੇਜ ਸਿੰਥੇਸਿਸ (image synthesis) ਲਈ ਯੋਗ ਹੋ ਜਾਂਦਾ ਹੈ। ਅਤੇ ਕਿਉਂਕਿ Nunchaku ਨੂੰ ਵਿਜ਼ੂਅਲ ਫਿਡੈਲਿਟੀ (visual fidelity) ਨੂੰ ਬਰਕਰਾਰ ਰੱਖਣ ਲਈ ਡਿਜ਼ਾਈਨ ਕੀਤਾ ਗਿਆ ਹੈ, ਇਸ ਲਈ ਆਉਟਪੁੱਟ ਖਰਾਬ ਜਾਂ ਧੁੰਦਲਾ ਨਹੀਂ ਹੁੰਦਾ। ਤਸਵੀਰਾਂ ਅਸਲ ਵਰਤੋਂ ਲਈ ਕਾਫ਼ੀ ਸਾਫ਼ ਰਹਿੰਦੀਆਂ ਹਨ, ਚਾਹੇ ਤੁਸੀਂ ਗੇਮ ਐਸੇਟਸ (game assets) ਦਾ ਪ੍ਰੋਟੋਟਾਈਪ ਬਣਾ ਰਹੇ ਹੋਵੋ, ਪ੍ਰੋਡਕਟ ਮੌਕਸ (product mocks) ਬਣਾ ਰਹੇ ਹੋਵੋ, ਜਾਂ ਇਲਸਟ੍ਰੇਸ਼ਨਾਂ ਦੀ ਬੈਚ-ਪ੍ਰੋਸੈਸਿੰਗ ਕਰ ਰਹੇ ਹੋਵੋ।

ਇਸ ਵਿੱਚ ਪ੍ਰਾਈਵੇਸੀ ਦਾ ਪਹਿਲੂ ਵੀ ਹੈ। ਡਿਫਿਊਜ਼ਨ ਨੂੰ ਸਥਾਨਕ (locally) ਤੌਰ 'ਤੇ ਚਲਾਉਣ ਦਾ ਮਤਲਬ ਹੈ ਕਿ ਤੁਹਾਡੇ ਪ੍ਰੋਂਪਟ (prompts) ਅਤੇ ਬਣਾਈਆਂ ਗਈਆਂ ਤਸਵੀਰਾਂ ਕਦੇ ਵੀ ਤੁਹਾਡੀ ਮਸ਼ੀਨ ਤੋਂ ਬਾਹਰ ਨਹੀਂ ਜਾਂਦੀਆਂ। ਤੁਸੀਂ ਕਿਸੇ ਰਿਮੋਟ ਸਰਵਰ 'ਤੇ ਸੰਵੇਦਨਸ਼ੀਲ ਕੰਸੈਪਟ ਆਰਟ ਜਾਂ ਮਲਕੀਅਤ ਵਾਲੇ ਡਿਜ਼ਾਈਨ ਅਪਲੋਡ ਨਹੀਂ ਕਰ ਰਹੇ ਹੋ। ਸਭ ਕੁਝ ਤੁਹਾਡੀ ਡਿਸਕ 'ਤੇ, ਤੁਹਾਡੇ ਫਾਇਰਵਾਲ (firewall) ਦੇ ਪਿੱਛੇ ਰਹਿੰਦਾ ਹੈ। ਗੁਪਤ IP ਸੰਭਾਲਣ ਵਾਲੇ ਸਟੂਡੀਓਜ਼ ਜਾਂ ਨਿਯਮਤ ਉਦਯੋਗਾਂ ਵਿੱਚ ਕੰਮ ਕਰਨ ਵਾਲੇ ਕ੍ਰਿਏਟਿਵਜ਼ ਲਈ, ਉਹ ਅਲੱਗ-ਥਲੱਗ ਰਹਿਣਾ ਕੋਈ ਐਸ਼ੋ-ਆਰਾਮ ਨਹੀਂ ਹੈ। ਇਹ ਇੱਕ ਲੋੜ ਹੈ।

ਡੈਸਕਟਾਪ ਏਜੰਟ ਜੋ ਅਸਲ ਵਿੱਚ ਆਫਲਾਈਨ ਕੰਮ ਕਰਦੇ ਹਨ

ਕਲਾਉਡ APIs ਤੁਹਾਡੇ ਡੈਸਕਟਾਪ ਨੂੰ ਆਟੋਮੇਟ ਕਰਨ ਦਾ ਇੱਕੋ ਇੱਕ ਤਰੀਕਾ ਨਹੀਂ ਹਨ। Claude Cowork, ਜੋ ਕਿ ਇੱਕ AI ਏਜੰਟ ਫਰੇਮਵਰਕ ਹੈ, ਹੁਣ Windows ਅਤੇ Linux 'ਤੇ ਨੇਟਿਵਲੀ ਚੱਲਦਾ ਹੈ। ਸੈੱਟਅੱਪ ਇੰਨਾ ਸੌਖਾ ਹੈ ਕਿ ਤੁਸੀਂ ਹਰ ਕਾਰਵਾਈ ਨੂੰ ਬਾਹਰੀ ਐਂਡਪੁਆਇੰਟ (endpoint) ਰਾਹੀਂ ਭੇਜਣ ਦੀ ਬਜਾਏ ਏਜੰਟ ਨੂੰ ਸਥਾਨਕ ਤੌਰ 'ਤੇ ਹੋਸਟ ਕਰ ਸਕਦੇ ਹੋ।

ਇੱਕ ਵਾਰ ਚੱਲਣ ਤੋਂ ਬਾਅਦ, Claude Cowork ਆਮ ਦਫ਼ਤਰੀ ਕੰਮਾਂ ਨੂੰ ਸੰਭਾਲਦਾ ਹੈ। ਇਹ ਕੁਦਰਤੀ ਭਾਸ਼ਾ ਦੇ ਨਿਰਦੇਸ਼ਾਂ ਦੇ ਅਧਾਰ 'ਤੇ ਫਾਈਲਾਂ ਦਾ ਡਰਾਫਟ ਤਿਆਰ ਕਰਦਾ ਹੈ, ਰਸੀਦਾਂ ਨੂੰ ਸੰਗਠਿਤ ਕਰਦਾ ਹੈ, ਅਤੇ ਫੋਲਡਰਾਂ ਵਿਚਕਾਰ ਡੇਟਾ ਨੂੰ ਮੂਵ ਕਰਦਾ ਹੈ। ਐਪਲੀਕੇਸ਼ਨ ਲੌਜਿਕ ਤੁਹਾਡੀ ਮਸ਼ੀਨ 'ਤੇ ਚੱਲਦਾ ਹੈ, ਜੋ ਰੋਜ਼ਾਨਾ ਕੰਮ ਦੇ ਤਰੀਕੇ ਨੂੰ ਬਦਲ ਦਿੰਦਾ ਹੈ। ਬ੍ਰਾਊਜ਼ਰ ਟੈਬ ਵਿੱਚ ਟੈਕਸਟ ਕਾਪੀ ਕਰਨ ਅਤੇ ਸਰਵਰ ਦੇ ਜਵਾਬ ਦੀ ਉਡੀਕ ਕਰਨ ਦੀ ਬਜਾਏ, ਤੁਸੀਂ ਉਹੀ ਕਮਾਂਡਾਂ ਦਿੰਦੇ ਹੋ ਜਿਵੇਂ ਤੁਸੀਂ ਕਿਸੇ ਸ਼ੈੱਲ ਸਕ੍ਰਿਪਟ (shell script) ਨਾਲ ਗੱਲ ਕਰਦੇ ਹੋ, ਬੱਸ ਸਧਾਰਨ ਅੰਗਰੇਜ਼ੀ ਵਿੱਚ।

ਏਜੰਟ ਨੂੰ ਸਥਾਨਕ ਰੱਖਣਾ ਸਿਰਫ਼ ਰਫ਼ਤਾਰ ਤੋਂ ਇਲਾਵਾ ਹੋਰ ਕਾਰਨਾਂ ਕਰਕੇ ਵੀ ਮਹੱਤਵਪੂਰਨ ਹੈ। ਤੁਹਾਡੀਆਂ ਫਾਈਲਾਂ, ਫਾਈਲ ਦੇ ਨ

ਇੱਕ ਪੱਧਰੀ ਪਹੁੰਚ (tiered approach) ਇਸ ਨੂੰ ਹੱਲ ਕਰਦੀ ਹੈ। ਛੋਟੇ ਕੰਮਾਂ ਨੂੰ ਸਥਾਨਕ ਮਾਡਲਾਂ (local models) ਜਾਂ ਛੋਟੇ ਕਲਾਉਡ ਐਂਡਪੁਆਇੰਟਸ (cloud endpoints) ਵੱਲ ਭੇਜੋ। ਵਰਗੀਕਰਨ (classification), ਸਾਰਾਂਸ਼ (summarization), ਅਤੇ ਫਾਰਮੈਟਿੰਗ ਲਈ ਆਪਣੇ ਹਾਰਡਵੇਅਰ 'ਤੇ ਚੱਲ ਰਹੇ 7-ਬਿਲੀਅਨ-ਪੈਰਾਮੀਟਰ ਵਾਲੇ ਮਾਡਲ ਦੀ ਵਰਤੋਂ ਕਰੋ। Claude Opus ਸਮੇਤ ਭਾਰੀ ਮਾਡਲਾਂ ਨੂੰ ਉਹਨਾਂ ਕੰਮਾਂ ਲਈ ਰੱਖੋ ਜਿਨ੍ਹਾਂ ਨੂੰ ਸੱਚਮੁੱਚ ਗੁੰਝਲਦਾਰ ਤਰਕ (complex logic), ਬਹੁ-ਪੜਾਅ ਯੋਜਨਾਬੰਦੀ (multi-step planning), ਜਾਂ ਡੂੰਘੀ ਡੋਮੇਨ ਰੀਜ਼ਨਿੰਗ (deep domain reasoning) ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ।

ਇਹ ਲਾਗਤ ਵਿੱਚ ਭਾਰੀ ਕਮੀ ਲਿਆਉਂਦਾ ਹੈ, ਪਰ ਇਹ ਤੁਹਾਡੀ ਪਾਈਪਲਾਈਨ ਦੀ ਰਫ਼ਤਾਰ ਵੀ ਵਧਾਉਂਦਾ ਹੈ। ਛੋਟੇ ਮਾਡਲ ਤੁਰੰਤ ਜਵਾਬ ਦਿੰਦੇ ਹਨ। ਉਹ ਸਾਂਝੇ API 'ਤੇ ਐਂਟਰਪ੍ਰਾਈਜ਼ ਟ੍ਰੈਫਿਕ ਦੇ ਪਿੱਛੇ ਲਾਈਨ ਵਿੱਚ ਨਹੀਂ ਖੜ੍ਹਦੇ। ਤੁਹਾਨੂੰ ਜਵਾਬ ਤੇਜ਼ੀ ਨਾਲ ਮਿਲਦੇ ਹਨ, ਅਤੇ ਤੁਹਾਡਾ ਮਹੀਨਾਵਾਰ ਬਿੱਲ ਘਟ ਜਾਂਦਾ ਹੈ। ਇਹ ਰਣਨੀਤੀ ਗੁਣਵੱਤਾ ਨਾਲ ਸਮਝੌਤਾ ਕਰਨ ਬਾਰੇ ਨਹੀਂ ਹੈ; ਇਹ ਸੜਕ ਦੀ ਲੋੜ ਅਨੁਸਾਰ ਹਾਰਸਪਾਵਰ (horsepower) ਦੀ ਵਰਤੋਂ ਕਰਨ ਬਾਰੇ ਹੈ।

ਅਸਲ ਸਿੱਖਿਆ

ਇੱਥੇ ਸਾਂਝਾ ਤੱਤ ਸੁਤੰਤਰਤਾ ਹੈ। Nunchaku ਤੁਹਾਨੂੰ ਬਿਨਾਂ ਕਿਸੇ ਕਲੱਸਟਰ ਨੂੰ ਕਿਰਾਏ 'ਤੇ ਲਏ ਤਸਵੀਰਾਂ ਬਣਾਉਣ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦਾ ਹੈ। Claude Cowork ਤੁਹਾਡੀ ਆਟੋਮੇਸ਼ਨ ਨੂੰ ਤੁਹਾਡੇ ਆਪਣੇ ਹਾਰਡਵੇਅਰ 'ਤੇ ਰੱਖਦਾ ਹੈ। ਇੱਕ ਪੱਧਰੀ ਮਾਡਲ ਰਣਨੀਤੀ ਤੁਹਾਨੂੰ ਰੋਜ਼ਾਨਾ ਦੇ ਆਉਣ-ਜਾਣ ਲਈ ਲਗਜ਼ਰੀ ਇੰਜਣ ਕਿਰਾਏ 'ਤੇ ਲੈਣ ਤੋਂ ਰੋਕਦੀ ਹੈ। ਇਕੱਠੇ ਮਿਲ ਕੇ, ਉਹ AI ਨਾਲ ਕੰਮ ਕਰਨ ਦੇ ਇੱਕ ਸਸਤੇ, ਤੇਜ਼ ਅਤੇ ਵਧੇਰੇ ਨਿੱਜੀ ਤਰੀਕੇ ਵੱਲ ਇਸ਼ਾਰਾ ਕਰਦੇ ਹਨ। ਇਸ ਹਫ਼ਤੇ ਇੱਕ ਪ੍ਰਯੋਗ ਨਾਲ ਸ਼ੁਰੂਆਤ ਕਰੋ। ਆਪਣੇ ਮੌਜੂਦਾ GPU 'ਤੇ Nunchaku ਇੰਸਟਾਲ ਕਰੋ, ਕਿਸੇ ਸਧਾਰਨ ਫਾਈਲਿੰਗ ਕੰਮ 'ਤੇ ਸਥਾਨਕ ਏਜੰਟ ਦੀ ਜਾਂਚ ਕਰੋ, ਜਾਂ ਆਪਣੇ API ਲੌਗਸ ਦੀ ਜਾਂਚ ਕਰੋ ਇਹ ਦੇਖਣ ਲਈ ਕਿ ਕਿੰਨੀਆਂ ਕਾਲਾਂ ਨੂੰ ਅਸਲ ਵਿੱਚ ਟਾਪ-ਟੀਅਰ ਮਾਡਲ ਦੀ ਲੋੜ ਸੀ। ਸਾਧਨ ਤਿਆਰ ਹਨ। ਬਚਤ ਅਸਲ ਹੈ।

ਸਰੋਤ: Dev.to original coverage

ਵਿਕਲਪਿਕ ਸਿੱਖਣ ਕਮਿਊਨਿਟੀ: GyaanSetu AI on Telegram