𝟮𝟬𝟬𝟴 𝗫𝗲𝗼𝗻 'ਤੇ 𝟯𝟮𝗕 𝗟𝗟𝗠: 𝗩𝗥𝗔𝗠 ਨਾਲੋਂ 𝗥𝗔𝗠 ਜ਼ਿਆਦਾ ਮਹੱਤਵ ਰੱਖਦੀ ਹੈ
ਮੈਂ ਆਪਣੇ ਕੰਮ ਵਾਲੇ ਲੈਪਟਾਪ 'ਤੇ 20 GB ਦਾ ਮਾਡਲ ਚਲਾਉਣ ਦੀ ਕੋਸ਼ਿਸ਼ ਕੀਤੀ। ਲੈਪਟਾਪ ਵਿੱਚ RTX 4070 ਅਤੇ 16 GB RAM ਹੈ। ਇਹ ਫੇਲ੍ਹ ਹੋ ਗਿਆ। ਸਿਸਟਮ ਪੂਰੀ ਤਰ੍ਹਾਂ ਫ੍ਰੀਜ਼ ਹੋ ਗਿਆ।
ਇਸ ਦੀ ਬਜਾਏ, ਮੈਂ ਇੱਕ ਪੁਰਾਣੇ 2008 ਸਰਵਰ ਦੀ ਜਾਂਚ ਕਰਨ ਦਾ ਫੈਸਲਾ ਕੀਤਾ। ਸਰਵਰ ਵਿੱਚ ਦੋ Intel Xeon E5440 CPU ਅਤੇ 64 GB RAM ਹੈ। ਇਸ ਵਿੱਚ ਕੋਈ GPU ਨਹੀਂ ਹੈ।
ਮਕਸਦ ਸਧਾਰਨ ਸੀ। ਕੀ ਕਾਫ਼ੀ ਮੈਮੋਰੀ ਵਾਲਾ ਪੁਰਾਣਾ ਹਾਰਡਵੇਅਰ ਇੱਕ ਅਜਿਹਾ ਵੱਡਾ ਮਾਡਲ ਚਲਾ ਸਕਦਾ ਹੈ ਜੋ ਮੇਰਾ ਲੈਪਟਾਪ ਨਹੀਂ ਚਲਾ ਸਕਦਾ?
ਇੱਥੇ ਹਾਰਡਵੇਅਰ ਦੀ ਤੁਲਨਾ ਦਿੱਤੀ ਗਈ ਹੈ:
ਲੈਪਟਾਪ:
- CPU: ਆਧੁਨਿਕ ਨੋਟਬੁੱਕ
- RAM: 16 GB
- GPU: 8 GB VRAM
- ਨਤੀਜਾ: ਸਿਸਟਮ ਫ੍ਰੀਜ਼ ਹੋ ਗਿਆ
ਸਰਵਰ:
- CPU: 2x Xeon E5440
- RAM: 64 GB
- GPU: ਕੋਈ ਨਹੀਂ
- ਨਤੀਜਾ: ਇਹ ਚੱਲਦਾ ਹੈ
ਸਰਵਰ ਹੌਲੀ ਹੈ। ਇਹ ਲਗਭਗ 0.01 tokens ਪ੍ਰਤੀ ਸੈਕਿੰਡ ਜਨਰੇਟ ਕਰਦਾ ਹੈ। ਮੈਂ ਅੱਧੀ ਰਾਤ ਨੂੰ ਟੈਸਟ ਸ਼ੁਰੂ ਕੀਤਾ ਅਤੇ ਸਵੇਰੇ ਇਸ ਦੀ ਜਾਂਚ ਕੀਤੀ।
ਮਾਡਲ ਨੇ Forth ਵਿੱਚ ਕੋਡ ਲਿਖਣ ਦੀ ਕੋਸ਼ਿਸ਼ ਕੀਤੀ। ਕਈ ਘੰਟਿਆਂ ਬਾਅਦ ਇਸਨੇ ਦੋ ਵੱਖ-ਵੱਖ ਵਰਜ਼ਨ ਤਿਆਰ ਕੀਤੇ। ਦੋਵੇਂ ਵਰਜ਼ਨ ਚੱਲਣ ਵਿੱਚ ਅਸਫਲ ਰਹੇ।
ਮੈਂ ਇਸ ਤੋਂ ਦੋ ਚੀਜ਼ਾਂ ਸਿੱਖੀਆਂ:
RAM ਦੀ ਮਾਤਰਾ ਮਹੱਤਵ ਰੱਖਦੀ ਹੈ। 64 GB ਸਿਸਟਮ RAM ਤੁਹਾਨੂੰ ਉਹ ਮਾਡਲ ਚਲਾਉਣ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦੀ ਹੈ ਜੋ 24 GB ਦੇ ਕੁੱਲ VRAM ਅਤੇ RAM ਨਹੀਂ ਚਲਾ ਸਕਦੇ। ਹਾਲਾਂਕਿ, ਕੰਮ ਲਈ 0.01 tokens ਪ੍ਰਤੀ ਸੈਕਿੰਡ ਵਿਹਾਰਕ ਨਹੀਂ ਹੈ।
ਵੱਡੇ ਮਾਡਲ ਕੋਈ ਜਾਦੂ ਨਹੀਂ ਹਨ। ਜੇਕਰ ਕਿਸੇ ਮਾਡਲ ਨੂੰ Forth ਵਰਗੀ ਨਿਸ਼ (niche) ਭਾਸ਼ਾ 'ਤੇ ਟ੍ਰੇਨਿੰਗ ਨਹੀਂ ਦਿੱਤੀ ਗਈ ਹੈ, ਤਾਂ ਉਹ ਉਸ ਵਿੱਚ ਪ੍ਰੋਗਰਾਮਿੰਗ ਨਹੀਂ ਕਰ ਸਕਦਾ। ਕੰਮ ਕਰਨ ਵਾਲਾ ਕੋਡ ਪ੍ਰਾਪਤ ਕਰਨ ਲਈ, ਤੁਹਾਨੂੰ ਇੱਕ ਬਿਹਤਰ ਪ੍ਰਕਿਰਿਆ ਦੀ ਲੋੜ ਹੈ। ਤੁਹਾਨੂੰ ਐਲਗੋਰਿਦਮ, ਡਿਟਰਮਿਨਿਸਟਿਕ ਟ੍ਰਾਂਸਪਾਈਲਰ (deterministic transpilers) ਅਤੇ ਬਿਹਤਰ ਸਾਧਨਾਂ ਦੀ ਲੋੜ ਹੈ।
ਕਿਸੇ ਵਿਚਾਰ ਦੀ ਜਾਂਚ ਕਰਨ ਲਈ ਮਹਿੰਗਾ ਹਾਰਡਵੇਅਰ ਨਾ ਖਰੀਦੋ। ਪਹਿਲਾਂ ਉਹਨਾਂ ਚੀਜ਼ਾਂ 'ਤੇ ਆਪਣੇ ਪ੍ਰਯੋਗ ਕਰੋ ਜੋ ਤੁਹਾਡੇ ਕੋਲ ਹਨ। ਹੌਲੀ ਇਨਫਰੈਂਸ (inference) ਫਿਰ ਵੀ ਇਨਫਰੈਂਸ ਹੀ ਹੈ। ਇਸਨੇ ਮੈਨੂੰ ਬਿਨਾਂ ਕਿਸੇ ਵੱਡੇ ਖਰਚੇ ਦੇ ਉਹ ਜਵਾਬ ਦਿੱਤਾ ਜਿਸਦੀ ਮੈਨੂੰ ਲੋੜ ਸੀ।
ਸਰੋਤ: https://dev.to/ua3mqj/32b-llm-on-a-2008-xeon-when-ram-matters-more-than-vram-28e2
ਵਿਕਲਪਿਕ ਸਿੱਖਣ ਕਮਿਊਨਿਟੀ: https://t.me/GyaanSetuAi