Mistral AI ಆಗಸ್ಟ್ 4 ರಂದು Shieldstral ಅನ್ನು ಅನಾವರಣಗೊಳಿಸಿತು. ಇದು 3-ಬಿಲಿಯನ್ ಪ್ಯಾರಾಮೀಟರ್ ಹೊಂದಿರುವ "guard" ಮಾಡೆಲ್ ಆಗಿದ್ದು, 20-ಬಿಲಿಯನ್ ಪ್ಯಾರಾಮೀಟರ್ ಹೊಂದಿರುವ ಮಾಡೆಲ್‌ಗೆ ಸಮಾನವಾದ ಮಾಡರೇಶನ್ ಉತ್ತರವನ್ನು ಕೇವಲ ಒಂದೇ ಟೋಕನ್ ಬಳಸಿ ನೀಡುತ್ತದೆ. ಈ ಬಿಡುಗಡೆಯು ಕಂಟೆಂಟ್ ಫಿಲ್ಟರಿಂಗ್ ಅಗತ್ಯವಿರುವ ಯಾವುದೇ ಉತ್ಪನ್ನಕ್ಕೆ ಅಗ್ಗದ ಮತ್ತು ಹೆಚ್ಚು ಹೊಂದಿಕೊಳ್ಳುವ ಸುರಕ್ಷತಾ ಪದರವನ್ನು (safety layer) ಭರವಸೆ ನೀಡುತ್ತದೆ.

ಸಣ್ಣ ಮಾಡೆಲ್ ತನ್ನ ಗಾತ್ರಕ್ಕಿಂತ ಹೆಚ್ಚಿನ ಸಾಮರ್ಥ್ಯವನ್ನು ಹೇಗೆ ಪ್ರದರ್ಶಿಸುತ್ತದೆ

ಸಾಂಪ್ರದಾಯಿಕ ಮಾಡರೇಶನ್ ಮಾಡೆಲ್‌ಗಳು ನೀತಿ ನಿಯಮಗಳನ್ನು ಅವುಗಳ ವೇಟ್ಸ್‌ಗಳಲ್ಲಿ (weights) ಅಳವಡಿಸಿರುತ್ತವೆ. ಒಂದು ನಿಯಮವನ್ನು ಬದಲಾಯಿಸಿದರೆ, ನೀವು ಡೇಟಾವನ್ನು ಮರು-ಲೇಬಲ್ ಮಾಡಬೇಕು, ಇಡೀ ಮಾಡೆಲ್ ಅನ್ನು ಮರು-ತರಬೇತಿ ಮಾಡಬೇಕು ಮತ್ತು ಹೆಚ್ಚುವರಿ ಕಂಪ್ಯೂಟ್ (compute) ವೆಚ್ಚವನ್ನು ಭರಿಸಬೇಕು. Shieldstral ಆ ಮಾದರಿಯನ್ನೇ ಬದಲಾಯಿಸುತ್ತದೆ. ಇದು ಮಾಡರೇಶನ್ ಅನ್ನು ಸರಳವಾದ ಪ್ರಶ್ನೆ-ಉತ್ತರ ಕಾರ್ಯವಾಗಿ ಪರಿಗಣಿಸುತ್ತದೆ:

  • Instruction – ನೀವು ಜಾರಿಗೆ ತರಲು ಬಯಸುವ ನೀತಿ.
  • Query – ನಿಮಗೆ ಬೇಕಾದ ನಿರ್ಧಾರ (ಉದಾಹರಣೆಗೆ, “Is this safe?”).
  • Document – ಪರಿಶೀಲನೆಯಲ್ಲಿರುವ ಪಠ್ಯ ಅಥವಾ ಚಿತ್ರ.

ನೀತಿಯು ಪ್ರಾಂಪ್ಟ್‌ನಲ್ಲಿ (prompt) ಇರುವುದರಿಂದ, ಒಂದು ಪ್ಯಾರಾಗ್ರಾಫ್ ಬದಲಾಯಿಸುವುದರಿಂದ ಮಾಡೆಲ್ ಅನ್ನು ಮರು-ತರಬೇತಿ ಮಾಡದೆಯೇ ನಿಯಮವು ತಕ್ಷಣವೇ ಅಪ್‌ಡೇಟ್ ಆಗುತ್ತದೆ. ಈ ಮಾಡೆಲ್ 0 ಮತ್ತು 1 ರ ನಡುವಿನ ಸಂಭವನೀಯತೆ ಸ್ಕೋರ್ ಅನ್ನು (probability score) ನೀಡುತ್ತದೆ, ಇದು ತಂಡಗಳು ಕಸ್ಟಮ್ ಮಿತಿಗಳನ್ನು (custom thresholds) ನಿಗದಿಪಡಿಸಲು ಅನುವು ಮಾಡಿಕೊಡುತ್ತದೆ: ಹೆಚ್ಚಿನ ಸ್ಕೋರ್‌ಗಳು ಆಟೋ-ಬ್ಲಾಕ್ ಅನ್ನು ಪ್ರಚೋದಿಸುತ್ತವೆ, ಮಧ್ಯಮ ಸ್ಕೋರ್‌ಗಳು ಮಾನವ ವಿಮರ್ಶಕರಿಗೆ (human reviewer) ಕಳುಹಿಸುತ್ತವೆ ಮತ್ತು ಕಡಿಮೆ ಸ್ಕೋರ್‌ಗಳು ಕಂಟೆಂಟ್ ಅನ್ನು ಮುಂದೆ ಹೋಗಲು ಬಿಡುತ್ತವೆ.

ಇದು ಕೆಲಸ ಮಾಡಲು ಕಾರಣವಾಗುವ ತರಬೇತಿಯ ತಂತ್ರ

Mistral, Shieldstral ಅನ್ನು ಕಾಂಟ್ರಾಸ್ಟಿವ್ ಪೇರ್ಸ್ (contrastive pairs) ಬಳಸಿ ತರಬೇತಿ ಮಾಡಿದೆ. ಮಾಡೆಲ್ ನೋಡಿದ ಪ್ರತಿಯೊಂದು ಕಂಟೆಂಟ್‌ಗೆ ಅದು ಎರಡು ಆವೃತ್ತಿಗಳನ್ನು ಕಂಡಿತು: ಒಂದು "ಹೌದು" ಎಂಬ ಉತ್ತರದೊಂದಿಗೆ ಮತ್ತು ಇನ್ನೊಂದು "ಇಲ್ಲ" ಎಂಬ ಉತ್ತರದೊಂದಿಗೆ. ಇದು ಮಾಡೆಲ್ ತನ್ನ ಅಂತರ್ನಿಹಿತ ನಿಯಮಗಳಿಂದ ಊಹಿಸುವ ಬದಲು ಸೂಚನೆಯನ್ನು (instruction) ಓದಲು ಒತ್ತಾಯಿಸಿತು. ಈ ವಿಧಾನವು ಸ್ಟ್ಯಾಟಿಕ್ ವೇಟ್ಸ್‌ಗಳ ಮೇಲೆ ಅವಲಂಬಿತವಾಗಿರುವ ಬೇಸ್‌ಲೈನ್‌ನ তুলনায় ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು 23 ಪಾಯಿಂಟ್‌ಗಳಷ್ಟು ಹೆಚ್ಚಿಸಿತು.

AI-ಸುರಕ್ಷತಾ ಬಜೆಟ್‌ಗಳಿಗೆ ಇದರ ಅರ್ಥವೇನು

ದೊಡ್ಡ ಗಾರ್ಡ್ ಮಾಡೆಲ್‌ಗಳು ಒಂದು ಕಾಮೆಂಟ್ ನಿಯಮವನ್ನು ಉಲ್ಲಂಘಿಸುತ್ತದೆಯೇ ಎಂದು ನಿರ್ಧರಿಸಲು ಕೇವಲ ನೂರಾರು ಟೋಕನ್‌ಗಳನ್ನು ಬಳಸಿ ಸಂಪೂರ್ಣ ತರ್ಕದ ಸರಪಳಿಯನ್ನು (reasoning chain) ನಡೆಸುತ್ತವೆ. ಈ ಟೋಕನ್‌ಗಳು ನೇರವಾಗಿ ಕಂಪ್ಯೂಟ್ ವೆಚ್ಚಕ್ಕೆ ಕಾರಣವಾಗುತ್ತವೆ, ವಿಶೇಷವಾಗಿ ದೊಡ್ಡ ಪ್ರಮಾಣದಲ್ಲಿ ಬಳಸಿದಾಗ. Shieldstral ನ ಸಿಂಗಲ್-ಟೋಕನ್ ಉತ್ತರವು ಆ ವೆಚ್ಚವನ್ನು ಗಣನೀಯವಾಗಿ ಕಡಿಮೆ ಮಾಡುತ್ತದೆ, ಇದು ವಿಳಂಬ (latency) ಮತ್ತು ಬೆಲೆ ಮುಖ್ಯವಾಗಿರುವ ಹೆಚ್ಚಿನ ಟ್ರಾಫಿಕ್ ಇರುವ ಕಡೆಗಳಲ್ಲಿ ಆಕರ್ಷಕವಾಗಿದೆ.

ತಂಡಗಳಿಗೆ ಪ್ರಾಯೋಗಿಕ ಅಂಶಗಳು

  • ಜಾಗತಿಕ ಬೆಂಚ್‌ಮಾರ್ಕ್‌ಗಳ ಮೇಲೆ ಅವಲಂಬಿತರಾಗಬೇಡಿ. Shieldstral ನ ನಿಖರತೆಯು ವಿವಿಧ ಭಾಷೆಗಳಲ್ಲಿ ಬದಲಾಗುತ್ತದೆ; ನೀವು ಬಳಸುವ ನಿರ್ದಿಷ್ಟ ಕಂಟೆಂಟ್ ಮೇಲೆ ಇದನ್ನು ಪರೀಕ್ಷಿಸಿ.
  • ಫುಲ್ ಫೈನ್-ಟ್ಯೂನಿಂಗ್‌ಗಿಂತ LoRA ಅನ್ನು ಆದ್ಯತೆ ನೀಡಿ. ಲೋ-ರ್ಯಾಂಕ್ ಅಡಾಪ್ಟೇಶನ್ (LoRA) ಕೇವಲ ಸಣ್ಣ ಪ್ಯಾರಾಮೀಟರ್ ಸೆಟ್ ಅನ್ನು ಅಪ್‌ಡೇಟ್ ಮಾಡುತ್ತದೆ, ಇದು ಬೇಸ್ ಮಾಡೆಲ್‌ನ ವೆಚ್ಚದ ಪ್ರಯೋಜನವನ್ನು ಉಳಿಸಿಕೊಳ್ಳುತ್ತದೆ.
  • ಆಳವಾದ ತರ್ಕಕ್ಕಾಗಿ (deep reasoning) ದೊಡ್ಡ ಮಾಡೆಲ್‌ಗಳನ್ನು ಮೀಸಲಿಡಿ. ಸರಳವಾದ ನೀತಿ ಪರಿಶೀಲನೆಗಳಿಗಾಗಿ Shieldstral ಅನ್ನು ಬಳಸಿ ಮತ್ತು ವ್ಯಾಪಕವಾದ ಸಂದರ್ಭದ ಅಗತ್ಯವಿರುವ ಕಾರ್ಯಗಳಿಗಾಗಿ ದೊಡ್ಡ ಮಾಡೆಲ್‌ಗಳನ್ನು ಇರಿಸಿ.

ಸಂಭಾವ್ಯ ಅನಾನುಕೂಲಗಳು

ಪ್ರಾಂಪ್ಟ್-ಚಾಲಿತ ನೀತಿಗಳ ಮೇಲೆ ಮಾಡೆಲ್ ಅವಲಂಬಿತವಾಗಿರುವುದು ಸೂಚನಾ ಪಠ್ಯವನ್ನು (instruction text) ಒಂದು ಹೊಸ ವೈಫಲ್ಯದ ಬಿಂದುವನ್ನಾಗಿ (failure point) ಮಾಡುತ್ತದೆ. ಅಸ್ಪಷ್ಟ ಅಥವಾ ಸರಿಯಾಗಿ ರೂಪಿಸದ ನೀತಿಗಳು ಅನಿರೀಕ್ಷಿತ ಸ್ಕೋರ್‌ಗಳನ್ನು ನೀಡಬಹುದು. ಇದಲ್ಲದೆ, ಮಾಡೆಲ್ ಇನ್ನೂ ಸ್ಥಿರವಾದ 3 B-ಪ್ಯಾರಾಮೀಟರ್ ಬ್ಯಾಕ್‌ಬೋನ್‌ನಲ್ಲಿ ಕಾರ್ಯನಿರ್ವಹಿಸುವುದರಿಂದ, ವ್ಯಾಪಕವಾದ ಜಗತ್ತಿನ ಜ್ಞಾನದಿಂದ ಪ್ರಯೋಜನ ಪಡೆಯುವ ಎಡ್ಜ್-ಕೇಸ್ ತರ್ಕಕ್ಕೆ (edge-case reasoning) ಇನ್ನೂ ದೊಡ್ಡ ಮಾಡೆಲ್ ಅಗತ್ಯವಿರಬಹುದು.

ಸಾರಾಂಶ (Bottom line): ಸರಿಯಾದ ತರಬೇತಿಯ ವಿಧಾನವಿದ್ದರೆ, 3 B ಮಾಡೆಲ್ ಅನೇಕ ನೈಜ-ಪ್ರಪಂಚದ ಮಾಡರೇಶನ್ ಕಾರ್ಯಗಳಿಗಾಗಿ 20 B ಗಾರ್ಡ್ ಮಾಡೆಲ್ ಅನ್ನು ಬದಲಾಯಿಸಬಲ್ಲದು ಎಂದು Shieldstral ತೋರಿಸುತ್ತದೆ—ಇದು ಅಲ್ಪ ವೆಚ್ಚದಲ್ಲಿ ಅದೇ ಉತ್ತರವನ್ನು ನೀಡುತ್ತದೆ ಮತ್ತು ನಿಯಮಗಳನ್ನು ತಕ್ಷಣವೇ ಬದಲಾಯಿಸುವ ನಮ್ಯತೆಯನ್ನು (flexibility) ಹೊಂದಿದೆ.