ਪ੍ਰੀ-ਟ੍ਰੇਂਡ ਸਮਰਾਈਜ਼ੇਸ਼ਨ ਡਿਸਟਲੇਸ਼ਨ
ਵੱਡੇ ਭਾਸ਼ਾ ਮਾਡਲਾਂ ਨੂੰ ਬਹੁਤ ਜ਼ਿਆਦਾ ਡੇਟਾ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ। ਇਸ ਨਾਲ ਸਮਾਂ ਅਤੇ ਪੈਸਾ ਖਰਚ ਹੁੰਦਾ ਹੈ।
ਸਮਰਾਈਜ਼ੇਸ਼ਨ ਡਿਸਟਲੇਸ਼ਨ ਇੱਕ ਬਿਹਤਰ ਤਰੀਕਾ ਪੇਸ਼ ਕਰਦਾ ਹੈ। ਇਹ ਤੁਹਾਨੂੰ ਅਜਿਹੇ ਛੋਟੇ ਮਾਡਲ ਬਣਾਉਣ ਵਿੱਚ ਮਦਦ ਕਰਦਾ ਹੈ ਜੋ ਵੱਡੇ ਮਾਡਲਾਂ ਵਾਂਗ ਹੀ ਕੰਮ ਕਰਦੇ ਹਨ।
ਇਹ ਪ੍ਰਕਿਰਿਆ ਇੱਕ ਟੀਚਰ ਮਾਡਲ ਤੋਂ ਸਟੂਡੈਂਟ ਮਾਡਲ ਵਿੱਚ ਗਿਆਨ ਤਬਦੀਲ ਕਰਕੇ ਕੰਮ ਕਰਦੀ ਹੈ। ਸਟੂਡੈਂਟ ਮਾਡਲ ਟੀਚਰ ਦੀ ਨਕਲ ਕਰਨਾ ਸਿੱਖਦਾ ਹੈ।
ਇਸ ਵਿਧੀ ਦੇ ਫਾਇਦੇ:
- ਘੱਟ ਕੰਪਿਊਟੇਸ਼ਨਲ ਲਾਗਤਾਂ
- ਤੇਜ਼ ਇਨਫਰੈਂਸ ਸਪੀਡ
- ਘੱਟ ਮੈਮੋਰੀ ਦੀ ਵਰਤੋਂ
- ਖਾਸ ਕੰਮਾਂ ਲਈ ਵਧੇਰੇ ਸ਼ੁੱਧਤਾ
ਤੁਹਾਨੂੰ ਭਾਰੀ ਹਾਰਡਵੇਅਰ ਦੀਆਂ ਲੋੜਾਂ ਤੋਂ ਬਿਨਾਂ ਉੱਚ-ਗੁਣਵੱਤਾ ਵਾਲੇ ਸਾਰ ਮਿਲਦੇ ਹਨ। ਇਹ AI ਨੂੰ ਰੋਜ਼ਾਨਾ ਦੀਆਂ ਐਪਲੀਕੇਸ਼ਨਾਂ ਲਈ ਵਧੇਰੇ ਸੁਲਭ ਬਣਾਉਂਦਾ ਹੈ।
ਸਰੋਤ: https://dev.to/paperium/pre-trained-summarization-distillation-2843
ਵਿਕਲਪਿਕ ਲਰਨਿੰਗ ਕਮਿਊਨਿਟੀ: https://t.me/GyaanSetuAi