Mistral AI ਨੇ 4 ਅਗਸਤ ਨੂੰ Shieldstral ਨੂੰ ਪੇਸ਼ ਕੀਤਾ, ਜੋ ਕਿ ਇੱਕ 3-ਬਿਲੀਅਨ-ਪੈਰਾਮੀਟਰ ਵਾਲਾ "ਗਾਰਡ" ਮਾਡਲ ਹੈ। ਇਹ ਮਾਡਲ ਸਿਰਫ਼ ਇੱਕ ਸਿੰਗਲ ਟੋਕਨ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ 20-ਬਿਲੀਅਨ-ਪੈਰਾਮੀਟਰ ਵਾਲੇ ਮਾਡਲ ਦੇ ਬਰਾਬਰ ਹੀ ਮੋਡਰੇਸ਼ਨ ਜਵਾਬ ਦਿੰਦਾ ਹੈ। ਇਸ ਦੀ ਸ਼ੁਰੂਆਤ ਕਿਸੇ ਵੀ ਅਜਿਹੇ ਉਤਪਾਦ ਲਈ ਇੱਕ ਸਸਤੀ ਅਤੇ ਵਧੇਰੇ ਅਨੁਕੂਲ ਸੁਰੱਖਿਆ ਪਰਤ (safety layer) ਦਾ ਵਾਅਦਾ ਕਰਦੀ ਹੈ ਜਿਸ ਨੂੰ ਕੰਟੈਂਟ ਫਿਲਟਰਿੰਗ ਦੀ ਲੋੜ ਹੈ।
ਇੱਕ ਛੋਟਾ ਮਾਡਲ ਆਪਣੀ ਸਮਰੱਥਾ ਤੋਂ ਵੱਧ ਪ੍ਰਭਾਵ ਕਿਵੇਂ ਪਾ ਸਕਦਾ ਹੈ
ਰਵਾਇਤੀ ਮੋਡਰੇਸ਼ਨ ਮਾਡਲਾਂ ਵਿੱਚ ਨੀਤੀ ਦੇ ਨਿਯਮਾਂ ਨੂੰ ਉਹਨਾਂ ਦੇ ਵੇਟਸ (weights) ਵਿੱਚ ਹੀ ਜੋੜ ਦਿੱਤਾ ਜਾਂਦਾ ਹੈ। ਜੇਕਰ ਤੁਸੀਂ ਕੋਈ ਨਿਯਮ ਬਦਲਦੇ ਹੋ, ਤਾਂ ਤੁਹਾਨੂੰ ਡਾਟਾ ਨੂੰ ਦੁਬਾਰਾ ਲੇਬਲ ਕਰਨਾ ਪੈਂਦਾ ਹੈ, ਪੂਰੇ ਮਾਡਲ ਨੂੰ ਦੁਬਾਰਾ ਟ੍ਰੇਨ ਕਰਨਾ ਪੈਂਦਾ ਹੈ, ਅਤੇ ਵਾਧੂ ਕੰਪਿਊਟਿੰਗ ਲਈ ਭੁਗਤਾਨ ਕਰਨਾ ਪੈਂਦਾ ਹੈ। Shieldstral ਇਸ ਪੈਰਾਡਾਈਮ ਨੂੰ ਬਦਲ ਦਿੰਦਾ ਹੈ। ਇਹ ਮੋਡਰੇਸ਼ਨ ਨੂੰ ਇੱਕ ਸਿੱਧੇ ਸਵਾਲ-ਜਵਾਬ ਦੇ ਕੰਮ ਵਜੋਂ ਦੇਖਦਾ ਹੈ:
- Instruction (ਹਦਾਇਤ) – ਉਹ ਨੀਤੀ ਜਿਸ ਨੂੰ ਤੁਸੀਂ ਲਾਗੂ ਕਰਨਾ ਚਾਹੁੰਦੇ ਹੋ।
- Query (ਪ੍ਰਸ਼ਨ) – ਉਹ ਫੈਸਲਾ ਜਿਸਦੀ ਤੁਹਾਨੂੰ ਲੋੜ ਹੈ (ਉਦਾਹਰਨ ਲਈ, "ਕੀ ਇਹ ਸੁਰੱਖਿਅਤ ਹੈ?")।
- Document (ਦਸਤਾਵੇਜ਼) – ਉਹ ਟੈਕਸਟ ਜਾਂ ਤਸਵੀਰ ਜਿਸਦੀ ਸਮੀਖਿਆ ਕੀਤੀ ਜਾ ਰਹੀ ਹੈ।
ਕਿਉਂਕਿ ਨੀਤੀ ਪ੍ਰੋਂਪਟ (prompt) ਵਿੱਚ ਹੁੰਦੀ ਹੈ, ਇੱਕ ਪੈਰਾਗ੍ਰਾਫ ਬਦਲਣ ਨਾਲ ਨਿਯਮ ਤੁਰੰਤ ਅਪਡੇਟ ਹੋ ਜਾਂਦਾ ਹੈ, ਅਤੇ ਮਾਡਲ ਨੂੰ ਦੁਬਾਰਾ ਟ੍ਰੇਨ ਕਰਨ ਦੀ ਲੋੜ ਨਹੀਂ ਪੈਂਦੀ। ਮਾਡਲ 0 ਅਤੇ 1 ਦੇ ਵਿਚਕਾਰ ਇੱਕ ਪ੍ਰੋਬੇਬਿਲਟੀ ਸਕੋਰ (probability score) ਵੀ ਦਿੰਦਾ ਹੈ, ਜੋ ਟੀਮਾਂ ਨੂੰ ਆਪਣੀ ਮਰਜ਼ੀ ਅਨੁਸਾਰ ਸੀਮਾਵਾਂ (thresholds) ਸੈੱਟ ਕਰਨ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦਾ ਹੈ: ਉੱਚ ਸਕੋਰ ਆਟੋ-ਬਲੌਕ ਨੂੰ ਟ੍ਰਿਗਰ ਕਰਦੇ ਹਨ, ਦਰਮਿਆਨੇ ਸਕੋਰ ਮਨੁੱਖੀ ਸਮੀਖਿਆਕਾਰ (human reviewer) ਕੋਲ ਭੇਜੇ ਜਾਂਦੇ ਹਨ, ਅਤੇ ਘੱਟ ਸਕੋਰ ਕੰਟੈਂਟ ਨੂੰ ਪਾਸ ਹੋਣ ਦਿੰਦੇ ਹਨ।
ਉਹ ਟ੍ਰੇਨਿੰਗ ਤਰੀਕਾ ਜੋ ਇਸਨੂੰ ਕਾਮਯਾਬ ਬਣਾਉਂਦਾ ਹੈ
Mistral ਨੇ Shieldstral ਨੂੰ contrastive pairs ਨਾਲ ਟ੍ਰੇਨ ਕੀਤਾ। ਕੰਟੈਂਟ ਦੇ ਹਰ ਟੁਕੜੇ ਲਈ ਮਾਡਲ ਨੇ ਦੋ ਵਰਜ਼ਨ ਦੇਖੇ: ਇੱਕ "ਹਾਂ" ਜਵਾਬ ਦੇ ਨਾਲ ਅਤੇ ਦੂਜਾ "ਨਹੀਂ" ਦੇ ਨਾਲ। ਇਸ ਨਾਲ ਮਾਡਲ ਨੂੰ ਆਪਣੇ ਅੰਦਰੂਨੀ ਨਿਯਮਾਂ ਤੋਂ ਅੰਦਾਜ਼ਾ ਲਗਾਉਣ ਦੀ ਬਜਾਏ ਹਦਾਇਤਾਂ ਨੂੰ ਪੜ੍ਹਨ ਲਈ ਮਜਬੂਰ ਕੀਤਾ ਗਿਆ। ਇਸ ਤਰੀਕੇ ਨੇ ਸਟੈਟਿਕ ਵੇਟਸ (static weights) 'ਤੇ ਨਿਰਭਰ ਕਰਨ ਵਾਲੇ ਬੇਸਲਾਈਨ ਦੇ ਮੁਕਾਬਲੇ ਪ੍ਰਦਰਸ਼ਨ ਵਿੱਚ 23 ਅੰਕਾਂ ਦਾ ਵਾਧਾ ਕੀਤਾ।
AI-ਸੁਰੱਖਿਆ ਬਜਟ ਲਈ ਇਸਦਾ ਕੀ ਮਤਲਬ ਹੈ
ਵੱਡੇ ਗਾਰਡ