𝗥𝗲𝗱 𝗧𝗲𝗮𝗺 𝗔𝗜 𝗕𝗲𝗻𝗰𝗵𝗺𝗮𝗿𝗸 𝘃𝟮.𝟬: ವಿಕಸನಗೊಳ್ಳುತ್ತಿರುವ 𝗟𝗟𝗠 ಮೌಲ್ಯಮಾಪನ

ನಾವು ಈಗಷ್ಟೇ redteam-ai-benchmark ನ 2.0 ಆವೃತ್ತಿಯನ್ನು ಬಿಡುಗಡೆ ಮಾಡಿದ್ದೇವೆ.

ಆವೃತ್ತಿ 1.0 ರಲ್ಲಿ 12 ಸ್ಥಿರ ಪ್ರಶ್ನೆಗಳನ್ನು ಬಳಸಲಾಗಿತ್ತು. ಒಂದು ಮಾಡೆಲ್ ಪ್ರಶ್ನೆಯನ್ನು ನಿರಾಕರಿಸುತ್ತದೆಯೇ ಅಥವಾ ಅದು ಎಕ್ಸ್‌ಪ್ಲೋಯಿಟ್ ಕೋಡ್ (exploit code) ಬರೆಯಬಲ್ಲದೇ ಎಂಬುದನ್ನು ಇದು ಅಳೆಯುತ್ತಿತ್ತು. ಇದು ಕೆಲಸ ಮಾಡಿತು, ಆದರೆ ಇದರಲ್ಲಿ ಕೆಲವು ದೋಷಗಳಿದ್ದವು. ಇದು ಕೇವಲ ಒಂದು "golden answer" ಮೇಲೆ ಅವಲಂಬಿತವಾಗಿತ್ತು. ಒಂದು ಮಾಡೆಲ್ ವಿಭಿನ್ನ ವಿಧಾನವನ್ನು ಬಳಸಿ ಸರಿಯಾದ ಉತ್ತರವನ್ನು ನೀಡಿದರೆ, ಅದು ವಿಫಲ ಎಂದು ಪರಿಗಣಿಸಲ್ಪಡುತ್ತಿತ್ತು. ಅಲ್ಲದೆ ಇದರಲ್ಲಿ ವಿವರಗಳ ಕೊರತೆಯಿತ್ತು. ಒಂದು ಮಾಡೆಲ್ ಏಕೆ ವಿಫಲವಾಯಿತು ಎಂಬುದನ್ನು ನೀವು ನೋಡಲು ಸಾಧ್ಯವಾಗುತ್ತಿರಲಿಲ್ಲ.

ಆವೃತ್ತಿ 2.0 ಎಲ್ಲವನ್ನೂ ಬದಲಾಯಿಸುತ್ತದೆ. ನಾವು 12 ಪ್ರಶ್ನೆಗಳಿಂದ 60 ಪ್ರಶ್ನೆಗಳಿಗೆ ವಿಸ್ತರಿಸಿದ್ದೇವೆ.

ವೃತ್ತಿಪರ ಮೌಲ್ಯಮಾಪನ ಚೌಕಟ್ಟನ್ನು (evaluation framework) ನಿರ್ಮಿಸಲು ನಾವು POXEK AI ನೊಂದಿಗೆ ಕೆಲಸ ಮಾಡಿದ್ದೇವೆ. ಇದು ಇನ್ನು ಮುಂದೆ ಕೇವಲ ವೈಯಕ್ತಿಕ ಸಾಧನವಲ್ಲ. ಇದು ಈಗ ಸಮುದಾಯದ ಮಾನದಂಡವಾಗಿದೆ.

v2 ರಲ್ಲಿ ಹೊಸದಾಗಿ ಏನಿದೆ:

  • ರಚನಾತ್ಮಕ ವರ್ಗೀಕರಣ (Structured Taxonomy): ಪ್ರಶ್ನೆಗಳು Windows tradecraft, Cloud/IAM ಮತ್ತು Web exploitation ನಂತಹ ಡೊಮೇನ್‌ಗಳನ್ನು ಒಳಗೊಂಡಿವೆ.
  • ಕಠಿಣತೆಯ ಮಟ್ಟಗಳು (Difficulty Levels): ನಾವು ಮೂಲಭೂತ ಸತ್ಯಗಳಿಂದ ಹಿಡಿದು ಸಂಕೀರ್ಣವಾದ ಬಹು-ಹಂತದ ಆಪರೇಟರ್ ಕಾರ್ಯಗಳವರೆಗೆ ಎಲ್ಲವನ್ನೂ ಪರೀಕ್ಷಿಸುತ್ತೇವೆ.
  • ಅಟಾಮಿಕ್ ರೂಬ್ರಿಕ್ಸ್ (Atomic Rubrics): ಪ್ರತಿ ಪ್ರಶ್ನೆಯು ನಿರ್ದಿಷ್ಟ ಪಾಸ್/ಫೇಲ್ ಮಾನದಂಡಗಳನ್ನು ಹೊಂದಿದೆ. ಒಂದು ಮಾಡೆಲ್ ಮಾನ್ಯವಾದ ಪರ್ಯಾಯ ವಿಧಾನವನ್ನು ಬಳಸಿದಾಗ ಇದು ಸುಳ್ಳು ನಕಾರಾತ್ಮಕ ಫಲಿತಾಂಶಗಳನ್ನು (false negatives) ತಡೆಯುತ್ತದೆ.
  • ಏಳು ಪ್ರಮುಖ ಮೆಟ್ರಿಕ್‌ಗಳು (Seven Core Metrics): ನೀವು ಈಗ ನಿರಾಕರಣೆ ದರಗಳು (refusal rates), ತಾಂತ್ರಿಕ ನಿಖರತೆ (technical accuracy), ನಿರ್ಣಾಯಕ ದೋಷದ ದರಗಳು (critical error rates), ಪರಿಪೂರ್ಣತೆ (completeness), ನಿರ್ದಿಷ್ಟತೆ (specificity), ಹ್ಯಾಲ್ಯುಸಿನೇಶನ್ ದರಗಳು (hallucination rates) ಮತ್ತು ವಿಳಂಬವನ್ನು (latency) ಟ್ರ್ಯಾಕ್ ಮಾಡಬಹುದು.
  • ಆಡಿಟ್ ಮೆಕ್ಯಾನಿಸಂ (Audit Mechanism): ನಾವು "LLM-as-Judge" ಪದರವನ್ನು ಬಳಸುತ್ತೇವೆ. ಇದು ವಿವಾದಿತ ಅಥವಾ ಅಸ್ಪಷ್ಟ ಪ್ರಕರಣಗಳನ್ನು ಮಾತ್ರ ಪರಿಶೀಲಿಸುತ್ತದೆ. ಇದು ಪುನರಾವರ್ತನೆಯ ಸಾಮರ್ಥ್ಯವನ್ನು (reproducibility) ಹಾಳುಮಾಡದೆ ಎರಡನೇ ಅಭಿಪ್ರಾಯವನ್ನು ನೀಡುತ್ತದೆ.

ಇದು ನಿಮಗೆ ಏಕೆ ಮುಖ್ಯವಾಗಿದೆ:

ವೆಂಡರ್ (vendor) ವಾದಗಳನ್ನು ನಂಬುವುದನ್ನು ನಿಲ್ಲಿಸಿ. ನೈಜ ಡೇಟಾವನ್ನು ಪಡೆಯಲು ಈ ಬೆಂಚ್‌ಮಾರ್ಕ್ ಬಳಸಿ.

  • ಅಪಾಯಕಾರಿ ಮಾಡೆಲ್‌ಗಳನ್ನು ಪತ್ತೆಹಚ್ಚಿ: ಒಂದು ಮಾಡೆಲ್ ಬುದ್ಧಿವಂತವಾಗಿ ಕಾಣಿಸಬಹುದು ಆದರೆ ಅದರ ನಿರ್ಣಾಯಕ ದೋಷದ ದರವು ಹೆಚ್ಚಿರಬಹುದು. ಅಂದರೆ ಅದು ನಂಬಲರ್ಹವಾಗಿ ಕಾಣುವ ಆದರೆ ತಪ್ಪಾದ ಕೋಡ್ ಅನ್ನು ಉತ್ಪಾದಿಸುತ್ತದೆ ಎಂದರ್ಥ.
  • ಅಲೈನ್‌ಮೆಂಟ್ (alignment) ಅನ್ನು ಅರ್ಥಮಾಡಿಕೊಳ್ಳಿ: ಒಂದು ಮಾಡೆಲ್ ಸುರಕ್ಷಿತವಾಗಿದೆ ಎಂಬ ಕಾರಣಕ್ಕೋ ಅಥವಾ ಅದಕ್ಕೆ ಸಾಮರ್ಥ್ಯವಿಲ್ಲ ಎಂಬ ಕಾರಣಕ್ಕೋ ಕಾರ್ಯಗಳನ್ನು ನಿರಾಕರಿಸುತ್ತಿದೆಯೇ ಎಂದು ನೋಡಿ.
  • ಕಾರ್ಯಗತಗೊಳಿಸಬಹುದಾದ ಪ್ರತಿಕ್ರಿಯೆ (actionable feedback) ಪಡೆಯಿರಿ: ಒಂದು ಮಾಡೆಲ್ ಏಕೆ ವಿಫಲವಾಗುತ್ತದೆ ಎಂಬುದನ್ನು ನಿಖರವಾಗಿ ತಿಳಿಯಿರಿ. ಅದಕ್ಕೆ ಡೊಮೇನ್ ಜ್ಞಾನದ ಕೊರತೆಯಿದೆಯೇ ಅಥವಾ ತರ್ಕಬದ್ಧವಾಗಿ ಯೋಚಿಸಲು ಕಷ್ಟಪಡುತ್ತಿದೆಯೇ?

ಈ ಚೌಕಟ್ಟು MIT ಪರವಾನಗಿಯನ್ನು ಹೊಂದಿದೆ. ಇದನ್ನು ಅಧಿಕೃತ ಲ್ಯಾಬ್‌ಗಳು, ಸಂಶೋಧನೆ ಅಥವಾ ಶೈಕ್ಷಣಿಕ ಪರಿಸರಗಳಲ್ಲಿ ಬಳಸಿ. ನಾವು ದುರುಪಯೋಗವನ್ನು ತಡೆಯಲು ಸಾಧ್ಯವಿಲ್ಲ, ಆದರೆ ಪಾರದರ್ಶಕ ಸ್ಕೋರಿಂಗ್ ಮೂಲಕ ದುರುಪಯೋಗವನ್ನು ದೃಶ್ಯೀಕರಿಸಬಹುದು.

ಪ್ರಾರಂಭಿಸಿ:

git clone https://github.com/toxy4ny/redteam-ai-benchmark.git
cd redteam-ai-benchmark
uv sync
uv run run_benchmark.py run ollama -m "llama3.1:8b" --profile standard

ಮೂಲ (Source): https://dev.to/toxy4ny/red-team-ai-benchmark-v20-from-12-questions-to-60-a-technical-deep-dive-omn

ಐಚ್ಛಿಕ ಕಲಿಕಾ ಸಮುದಾಯ (Optional learning community): https://t.me/GyaanSetuAi