ಪೂರ್ವಾಗ್ರಹವಿಲ್ಲದ AI ಪೈಪ್‌ಲೈನ್‌ಗಳನ್ನು ನಿರ್ಮಿಸಿ

ನಿಮ್ಮ AI ಪೈಪ್‌ಲೈನ್ ಪೂರ್ವಾಗ್ರಹದಿಂದ ಕೂಡಿದೆ ಎಂದು ತಿಳಿಯಲು ನೀವು ಆರು ವಾರಗಳನ್ನು ವ್ಯಯಿಸಿದ್ದೀರಿ. ಅದು ದುರ್ಬಲವಾಗಿದೆ. ಅದನ್ನು ಆಡಿಟ್ ಮಾಡುವುದು ಕಷ್ಟಕರವಾಗಿದೆ. ಕೆಲವು ಪರಿಹಾರಗಳು ಕೆಲಸ ಮಾಡುತ್ತವೆ. ಈ ಪರಿಹಾರಗಳನ್ನು ಪೀರ್-ರಿವ್ಯೂ ಮಾಡಲಾಗಿದೆ. ನೀವು ಅವುಗಳನ್ನು ಈ ವಾರ ಬಿಡುಗಡೆ ಮಾಡುತ್ತೀರಿ.

ವಿಭಿನ್ನ ಮಾಡೆಲ್ ಕುಟುಂಬಗಳ ಜನರೇಟರ್ ಮತ್ತು ಜಡ್ಜ್ ಅನ್ನು ಬಳಸಿ. ಜನರೇಟಿಂಗ್‌ಗಾಗಿ OpenAI ಬಳಸಿ. ಜಡ್ಜಿಂಗ್‌ಗಾಗಿ Anthropic ಬಳಸಿ. ಇದು ಸ್ವಯಂ ಆದ್ಯತೆಯ ಪೂರ್ವಾಗ್ರಹವನ್ನು (self preference bias) ತಡೆಯುತ್ತದೆ. ಮಾಡೆಲ್‌ಗಳು ತಮ್ಮದೇ ಆದ ಶೈಲಿಯನ್ನು ಇಷ್ಟಪಡುವುದನ್ನು ನಿಲ್ಲಿಸುತ್ತವೆ.

ಪ್ರತಿಕ್ರಿಯೆ ಚೆನ್ನಾಗಿದೆಯೇ ಎಂದು ಕೇಳುವುದನ್ನು ನಿಲ್ಲಿಸಿ. ಈ ಅಂಶಗಳ ಮೇಲೆ ಸ್ಕೋರ್‌ಗಳನ್ನು ಕೇಳಿ:

  • ನಿಖರತೆ (Accuracy)
  • ಪರಿಪೂರ್ಣತೆ (Completeness)
  • ಧಾಟಿ (Tone)
  • ಕಾರ್ಯಸಾಧ್ಯತೆ (Actionability) ಇದು ಪೂರ್ವಾಗ್ರಹವನ್ನು ಶೇಕಡಾ 31.5 ರಷ್ಟು ಕಡಿಮೆ ಮಾಡುತ್ತದೆ.

ಸ್ಕೋರ್ ನೀಡುವ ಮೊದಲು ಜಡ್ಜ್ ಅನ್ನು ತರ್ಕಿಸಲು (reason) ಒತ್ತಾಯಿಸಿ. ಅದು ಸತ್ಯಾಂಶಗಳನ್ನು ಪಟ್ಟಿ ಮಾಡುವಂತೆ ಮಾಡಿ. ಅದು ಪ್ರತಿಯೊಂದು ಸತ್ಯಾಂಶವನ್ನು ಪರಿಶೀಲಿಸುವಂತೆ ಮಾಡಿ. ನಂತರ ಅದು ಸ್ಕೋರ್ ನೀಡುತ್ತದೆ. ಇದು ನಿಖರತೆಯನ್ನು 1.5 ರಿಂದ 13 ಪಾಯಿಂಟ್‌ಗಳಷ್ಟು ಹೆಚ್ಚಿಸುತ್ತದೆ.

ಏಕೈಕ ಔಟ್‌ಪುಟ್‌ಗಳನ್ನು ಮಾತ್ರ ಮೇಲ್ವಿಚಾರಣೆ ಮಾಡಬೇಡಿ. ಇಡೀ ಜನಸಂಖ್ಯೆಯನ್ನು (population) ಗಮನಿಸಿ. ಸ್ಕೋರ್ ವಿತರಣೆಯ ಬದಲಾವಣೆಗಳನ್ನು (score distribution shifts) ಗಮನಿಸಿ. ಇದು ಡ್ರಿಫ್ಟ್ (drift) ಮತ್ತು ದಾಳಿಗಳನ್ನು ಮೊದಲೇ ಪತ್ತೆಹಚ್ಚುತ್ತದೆ.

ಸ್ಪರ್ಧಾತ್ಮಕ ಸೆಟಪ್‌ಗಳನ್ನು ತಪ್ಪಿಸಿ. ಏಜೆಂಟ್‌ಗಳು ವಾದ ಮಾಡಬಾರದು. ಸಹಕಾರದ ಸೆಟಪ್‌ಗಳನ್ನು ಬಳಸಿ. ಒಂದು ಏಜೆಂಟ್ ಜನರೇಟ್ ಮಾಡುತ್ತದೆ. ಒಂದು ಏಜೆಂಟ್ ಕೊರತೆಗಳನ್ನು (gaps) ಪತ್ತೆ ಮಾಡುತ್ತದೆ. ಒಂದು ಏಜೆಂಟ್ ಕೊರತೆಗಳನ್ನು ತುಂಬುತ್ತದೆ. ಇದು ದೃಢತೆಯನ್ನು (robustness) ಶೇಕಡಾ 68 ರಷ್ಟು ಸುಧಾರಿಸುತ್ತದೆ.

ನಿಮ್ಮ ಚೆಕ್‌ಲಿಸ್ಟ್:

ಈ ವಾರ:

  • ಪ್ರಾಂಪ್ಟ್‌ಗಳಿಗೆ ತರ್ಕವನ್ನು (reasoning) ಸೇರಿಸಿ.
  • ರಚನಾತ್ಮಕ ಮೌಲ್ಯಮಾಪನವನ್ನು ಬಳಸಿ.
  • ನಿಮ್ಮ ಮಾಡೆಲ್ ಕುಟುಂಬಗಳನ್ನು ಪರಿಶೀಲಿಸಿ.

ಈ ತಿಂಗಳು:

  • ಕ್ರಾಸ್ ಫ್ಯಾಮಿಲಿ ಮೌಲ್ಯಮಾಪನವನ್ನು ಹೊಂದಿಸಿ.
  • ಜನಸಂಖ್ಯೆಯ ಮೇಲ್ವಿಚಾರಣೆಯನ್ನು ಪ್ರಾರಂಭಿಸಿ.

ಈ ತ್ರೈಮಾಸಿಕದಲ್ಲಿ:

  • ಅಡ್ವರ್ಸರಿಯಲ್ ದಾಳಿಗಳಿಗಾಗಿ (adversarial attacks) ಪರೀಕ್ಷಿಸಿ.
  • ಸಹಕಾರಿ ವಿನ್ಯಾಸಕ್ಕೆ (cooperative design) ಬದಲಾಗಿ.

ನೀವು ಇದನ್ನು ಸಂಪೂರ್ಣವಾಗಿ ಪರಿಹರಿಸಲು ಸಾಧ್ಯವಿಲ್ಲ. ನೀವು ಪೂರ್ವಾಗ್ರಹವನ್ನು ಕಡಿಮೆ ಮಾಡುತ್ತೀರಿ. ನೀವು ತಪ್ಪುಗಳನ್ನು ವೇಗವಾಗಿ ಪತ್ತೆಹಚ್ಚುತ್ತೀರಿ. ಇದೇ ಗುರಿ.

ಮೂಲ: https://dev.to/sayokbose91/part-6-of-6-how-to-build-pipelines-that-dont-gaslight-themselves-dci ಐಚ್ಛಿಕ ಕಲಿಕಾ ಸಮುದಾಯ: https://t.me/GyaanSetuAi