ਹੁਣ ਕਿਸੇ ਨੂੰ ਤੁਹਾਡੇ 70B ਪੈਰਾਮੀਟਰ ਮਾਡਲ ਦੀ ਲੋੜ ਨਹੀਂ
AI ਦੀ ਦੁਨੀਆ ਪਹਿਲਾਂ ਸਿਰਫ਼ ਸਕੇਲ (scale) 'ਤੇ ਧਿਆਨ ਕੇਂਦਰਿਤ ਕਰਦੀ ਸੀ।
ਲੋਕ ਵੱਡੇ ਮਾਡਲਾਂ, ਵੱਡੇ context windows, ਅਤੇ ਵੱਡੇ benchmarks ਦੇ ਪਿੱਛੇ ਭੱਜਦੇ ਸਨ। ਜੇਕਰ ਤੁਹਾਡਾ ਮਾਡਲ ਵਿਸ਼ਾਲ ਨਹੀਂ ਸੀ, ਤਾਂ ਤੁਸੀਂ ਇਸ ਖੇਡ ਦਾ ਹਿੱਸਾ ਨਹੀਂ ਸੀ।
ਉਹ ਯੁੱਗ ਖ਼ਤਮ ਹੋ ਰਿਹਾ ਹੈ।
ਵਿਸ਼ਾਲ ਮਾਡਲ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਹੁੰਦੇ ਹਨ। ਪਰ ਜ਼ਿਆਦਾਤਰ ਲੋਕਾਂ ਨੂੰ ਇੰਨੀ ਜ਼ਿਆਦਾ ਸ਼ਕਤੀ ਦੀ ਲੋੜ ਨਹੀਂ ਹੁੰਦੀ। ਇੱਕ ਕਾਰ ਡੈਸ਼ਬੋਰਡ ਅਸਿਸਟੈਂਟ ਨੂੰ ਕਵਿਤਾਵਾਂ ਲਿਖਣ ਦੀ ਲੋੜ ਨਹੀਂ ਹੈ। ਇਸਨੂੰ "AC ਘੱਟ ਕਰੋ" ਨੂੰ ਸਮਝਣ ਅਤੇ ਬੈਟਰੀ ਖ਼ਤਮ ਕੀਤੇ ਬਿਨਾਂ ਚੱਲਣ ਦੀ ਲੋੜ ਹੈ।
ਪੰਜ ਮੁੱਖ ਕਾਰਨਾਂ ਕਰਕੇ ਛੋਟੇ, ਵਿਸ਼ੇਸ਼ (specialized) ਮਾਡਲ ਹੁਣ ਛਾ ਰਹੇ ਹਨ:
- On-device ਵਰਤੋਂ: ਫ਼ੋਨਾਂ ਵਿੱਚ ਹੁਣ ਸਥਾਨਕ (locally) ਤੌਰ 'ਤੇ ਛੋਟੇ ਮਾਡਲਾਂ ਨੂੰ ਚਲਾਉਣ ਲਈ ਹਾਰਡਵੇਅਰ ਹੈ। ਤੁਹਾਡਾ ਅਸਿਸਟੈਂਟ ਇੰਟਰਨੈੱਟ ਤੋਂ ਬਿਨਾਂ ਕਿਸੇ ਸੁਰੰਗ ਵਿੱਚ ਜਾਂ ਉਡਾਣ ਦੌਰਾਨ ਵੀ ਕੰਮ ਕਰ ਸਕਦਾ ਹੈ।
- Privacy ਅਤੇ ਨਿਯਮ: ਹਸਪਤਾਲ ਅਤੇ ਕਾਨੂੰਨੀ ਫਰਮਾਂ ਸੰਵੇਦਨਸ਼ੀਲ ਡੇਟਾ ਕਿਸੇ Third-party API ਨੂੰ ਨਹੀਂ ਭੇਜ ਸਕਦੀਆਂ। ਸਥਾਨਕ ਹਾਰਡਵੇਅਰ 'ਤੇ ਛੋਟਾ ਮਾਡਲ ਚਲਾਉਣਾ ਡੇਟਾ ਨੂੰ ਇਮਾਰਤ ਦੇ ਅੰਦਰ ਹੀ ਰੱਖਦਾ ਹੈ।
- Low latency: ਇੱਕ ਸਵੈ-ਚਾਲਿਤ (self-driving) ਕਾਰ ਕਿਸੇ ਆਕਾਰ ਨੂੰ ਪੈਦਲ ਚੱਲਣ ਵਾਲਾ ਵਿਅਕਤੀ (pedestrian) ਮੰਨਣ ਲਈ ਕਲਾਉਡ ਸਰਵਰ ਦੀ ਉਡੀਕ ਨਹੀਂ ਕਰ ਸਕਦੀ। ਮਾਡਲ ਉੱਥੇ ਹੀ ਹੋਣਾ ਚਾਹੀਦਾ ਹੈ ਜਿੱਥੇ ਫੈਸਲਾ ਲਿਆ ਜਾ ਰਿਹਾ ਹੋਵੇ।
- ਘੱਟ ਲਾਗਤ: ਇੱਕ ਵਿਸ਼ਾਲ ਮਾਡਲ 'ਤੇ ਲੱਖਾਂ ਰਿਕਵੈਸਟਾਂ ਚਲਾਉਣਾ ਤੁਹਾਡੇ ਮੁਨਾਫ਼ੇ ਨੂੰ ਖ਼ਤਮ ਕਰ ਦਿੰਦਾ ਹੈ। ਇੱਕ ਟਿਊਨ ਕੀਤਾ ਹੋਇਆ (tuned) ਛੋਟਾ ਮਾਡਲ ਅਕਸਰ ਸਸਤਾ ਅਤੇ ਵਧੇਰੇ ਟਿਕਾਊ ਹੁੰਦਾ ਹੈ।
- ਖ਼ਰਾਬ ਕਨੈਕਟੀਵਿਟੀ: ਦੁਨੀਆ ਦੇ ਕਈ ਹਿੱਸਿਆਂ ਵਿੱਚ, ਇੰਟਰਨੈੱਟ ਲਗਾਤਾਰ ਨਹੀਂ ਰਹਿੰਦਾ। ਛੋਟੇ ਮਾਡਲ ਉਤਪਾਦਾਂ ਨੂੰ offline ਕੰਮ ਕਰਨ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦੇ ਹਨ।
ਤੁਸੀਂ ਤਿੰਨ ਮੁੱਖ ਤਰੀਕਿਆਂ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਮਾਡਲਾਂ ਨੂੰ ਛੋਟਾ ਬਣਾ ਸਕਦੇ ਹੋ:
- Quantization: ਜਗ੍ਹਾ ਬਚਾਉਣ ਲਈ ਮਾਡਲ ਵੇਟਸ (weights) ਦੀ ਸ਼ੁੱਧਤਾ (precision) ਨੂੰ ਘਟਾਉਣਾ।
- Pruning: ਅਜਿਹੇ ਬੇਲੋੜੇ ਕਨੈਕਸ਼ਨਾਂ ਨੂੰ ਹਟਾਉਣਾ ਜੋ ਕੋਈ ਮੁੱਲ ਨਹੀਂ ਵਧਾਉਂਦੇ।
- Knowledge distillation: ਇੱਕ ਵੱਡੇ ਮਾਡਲ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਛੋਟੇ ਮਾਡਲ ਨੂੰ ਉਸਦੀ ਤਰਕ ਸ਼ਕਤੀ (reasoning) ਦੀ ਨਕਲ ਕਰਨਾ ਸਿਖਾਉਣਾ।
ਇਹ ਬਦਲਾਅ ਲੋੜੀਂਦੇ ਹੁਨਰ (skill set) ਨੂੰ ਬਦਲ ਦਿੰਦਾ ਹੈ।
ਇੱਕ ਵਿਸ਼ਾਲ ਮਾਡਲ ਨੂੰ ਪ੍ਰੋਂਪਟ (prompting) ਕਰਨਾ ਇੱਕ ਹੁਨਰ ਹੈ। ਇੱਕ ਵਿਸ਼ੇਸ਼ ਮਾਡਲ ਦੀ ਚੋਣ ਕਰਨਾ, ਫਾਈਨ-ਟਿਊਨਿੰਗ (fine-tuning) ਕਰਨਾ ਅਤੇ ਉਸਨੂੰ ਡਿਪਲੋਏ (deploying) ਕਰਨਾ ਇੱਕ ਵੱਖਰੀ ਇੰਜੀਨੀਅਰਿੰਗ ਚੁਣੌਤੀ ਹੈ। ਇਹ ਸਪੀਡ, ਲਾਗਤ ਅਤੇ ਸ਼ੁੱਧਤਾ (accuracy) ਵਿਚਕਾਰ ਸੰਤੁਲਨ ਬਣਾਉਣ ਬਾਰੇ ਹੈ।
ਇੱਕ ਅਜਿਹਾ ਵਿਸ਼ਾਲ ਟੂਲ ਬਣਾਉਣ ਦੀ ਕੋਸ਼ਿਸ਼ ਛੱਡ ਦਿਓ ਜੋ ਸਭ ਕੁਝ ਮਾੜੇ ਤਰੀਕੇ ਨਾਲ ਕਰਦਾ ਹੋਵੇ। ਕਈ ਛੋਟੇ ਟੂਲ ਬਣਾਓ ਜੋ ਇੱਕ ਕੰਮ ਚੰਗੀ ਤਰ੍ਹਾਂ ਕਰਦੇ ਹੋਣ।
ਛੋਟਾ ਮਾਡਲ ਕੋਈ ਡਾਊਨਗ੍ਰੇਡ (downgrade) ਨਹੀਂ ਹੈ। ਇਹ ਕੰਮ ਲਈ ਇੱਕ ਬਿਹਤਰ ਟੂਲ ਹੈ।
Source: https://dev.to/blakcodes/nobody-wants-your-70b-parameter-model-anymore-56jo
Optional learning community: https://t.me/GyaanSetuAi