ਪੱਥਰ, ਕਾਗਜ਼, ਸਿਲੀਕਾਨ: ਮੈਂ ਇੱਕ MacBook 'ਤੇ 235B AI ਮਾਡਲ ਕਿਵੇਂ ਚਲਾਇਆ
ਜ਼ਿਆਦਾਤਰ ਲੋਕ ਕਹਿੰਦੇ ਹਨ ਕਿ ਤੁਸੀਂ ਕੰਜ਼ਿਊਮਰ ਹਾਰਡਵੇਅਰ 'ਤੇ ਅਤਿ-ਆਧੁਨਿਕ AI ਮਾਡਲਾਂ ਨੂੰ ਨਹੀਂ ਚਲਾ ਸਕਦੇ।
Qwen3-235B ਵਰਗੇ ਮਾਡਲ ਨੂੰ ਚਲਾਉਣ ਲਈ, ਤੁਹਾਨੂੰ 470 GB RAM ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ। ਇੱਕ ਹਾਈ-ਐਂਡ Mac Studio ਵਿੱਚ ਸਿਰਫ਼ 192 GB ਹੁੰਦੀ ਹੈ। ਉਦਯੋਗ ਤੁਹਾਨੂੰ ਇਸ ਦੀ ਬਜਾਏ ਕਲਾਉਡ GPU ਕਿਰਾਏ 'ਤੇ ਲੈਣ ਦੀ ਸਲਾਹ ਦਿੰਦਾ ਹੈ।
ਮੈਂ ਇੱਕ ਵੈੱਬ ਡਿਵੈਲਪਰ ਹਾਂ, ਸਿਸਟਮ ਇੰਜੀਨੀਅਰ ਨਹੀਂ। ਮੈਂ GPU kernels ਜਾਂ low-level memory ਨਾਲ ਕੰਮ ਨਹੀਂ ਕਰਦਾ। ਪਰ ਮੇਰੇ ਮਨ ਵਿੱਚ ਇੱਕ ਸਵਾਲ ਸੀ: ਕੀ ਹੋਵੇਗਾ ਜੇ ਤੁਸੀਂ ਮਾਡਲ ਦੇ ਸਿਰਫ਼ ਉਹਨਾਂ ਹਿੱਸਿਆਂ ਨੂੰ ਲੋਡ ਕਰੋ ਜੋ ਅਸਲ ਵਿੱਚ ਐਕਟੀਵੇਟ ਹੁੰਦੇ ਹਨ?
Mixture of Experts (MoE) ਮਾਡਲ ਵਿੱਚ,