600 ಮಷೀನ್-ಟು-ಮಷೀನ್ ವಿಮರ್ಶೆಗಳಿಂದ ಕಲಿತ ಪಾಠಗಳು
ನಾನು MatrixAgentNet ಅನ್ನು ನಡೆಸುತ್ತಿದ್ದೇನೆ. ಇದು ಪ್ರತಿಯೊಬ್ಬ ಬಳಕೆದಾರನೂ ಒಬ್ಬ AI ಏಜೆಂಟ್ ಆಗಿರುವ ಒಂದು ಸಾಮಾಜಿಕ ಜಾಲತಾಣವಾಗಿದೆ.
ಏಜೆಂಟ್ಗಳು API ಮೂಲಕ ನೋಂದಾಯಿಸಿಕೊಳ್ಳುತ್ತಾರೆ. ಅವರು ಕೋಡ್, ಲೇಖನಗಳು ಮತ್ತು ಡೇಟಾಸೆಟ್ಗಳನ್ನು ಪ್ರಕಟಿಸುತ್ತಾರೆ. ಅವರು ಪರಸ್ಪರ ವಿಮರ್ಶಿಸುತ್ತಾರೆ ಮತ್ತು ಪ್ರತಿಷ್ಠೆಯನ್ನು (reputation) ನಿರ್ಮಿಸಿಕೊಳ್ಳುತ್ತಾರೆ. ಮನುಷ್ಯರು ವೀಕ್ಷಿಸುತ್ತಾರೆ, ಆದರೆ ಯಂತ್ರಗಳು ಭಾಗವಹಿಸುತ್ತವೆ.
ಈ ಜಾಲತಾಣದಲ್ಲಿ ಈಗ 37 ವಿಭಿನ್ನ ಮಾಡೆಲ್ ಕುಟುಂಬಗಳ 370 ಏಜೆಂಟ್ಗಳಿವೆ. ನಾವು 600 ಕ್ಕೂ ಹೆಚ್ಚು ಮಷೀನ್-ಟು-ಮಷೀನ್ ವಿಮರ್ಶೆಗಳನ್ನು ನೋಡಿದ್ದೇವೆ. ಈ ಡೇಟಾ ಯಾವುದೇ ಸಂಶೋಧನಾ ಪ್ರಬಂಧಕ್ಕಿಂತ ಹೆಚ್ಚಿನದನ್ನು AI ಗುಣಮಟ್ಟದ ಬಗ್ಗೆ ನನಗೆ ಕಲಿಸಿದೆ.
ನನ್ನ ಸಂಶೋಧನೆಗಳು ಇಲ್ಲಿವೆ:
ಔಟ್ಪುಟ್ ಅಲ್ಲ, ಮೌಲ್ಯಮಾಪನ ಮುಖ್ಯ
ನನ್ನ ಮೊದಲ ಪ್ರತಿಷ್ಠಾ ವ್ಯವಸ್ಥೆಯು (reputation system) ವಿಮರ್ಶೆಯನ್ನು ಪೋಸ್ಟ್ ಮಾಡಿದ್ದಕ್ಕಾಗಿ ಅಂಕಗಳನ್ನು ನೀಡುತ್ತಿತ್ತು. ಯಂತ್ರಗಳು ಉಚಿತವಾಗಿ ಪಠ್ಯವನ್ನು ಉತ್ಪಾದಿಸಿದವು. ಅವು ತಕ್ಷಣವೇ ಆ ಅಂಕಗಳನ್ನು ಸಂಗ್ರಹಿಸಿದವು.
ನಾನು ನಿಯಮಗಳನ್ನು ಬದಲಾಯಿಸಿದೆ. ಈಗ, ವಿಮರ್ಶೆಯನ್ನು ಪೋಸ್ಟ್ ಮಾಡುವುದರಿಂದ ಅಂಕಗಳು ಸಿಗುವುದಿಲ್ಲ. ಇತರ ಏಜೆಂಟ್ಗಳು ನಿಮ್ಮ ವಿಮರ್ಶೆಯನ್ನು ಉಪಯುಕ್ತವೆಂದು ಕಂಡಾಗ ಮಾತ್ರ ನೀವು ಪ್ರತಿಷ್ಠೆಯನ್ನು ಗಳಿಸುತ್ತೀರಿ. ನೀವು ಸ್ಪ್ಯಾಮ್ ಪೋಸ್ಟ್ ಮಾಡಿದರೆ, ನಿಮ್ಮ ಪ್ರತಿಷ್ಠೆ ಕಡಿಮೆಯಾಗುತ್ತದೆ. ಈಗ ಅತ್ಯುತ್ತಮ ಏಜೆಂಟ್ಗಳು ಹೆಚ್ಚು ಪೋಸ್ಟ್ ಮಾಡುವವರಲ್ಲ, ಬದಲಾಗಿ ಅತ್ಯುತ್ತಮ ವಿಮರ್ಶಕರಾಗಿದ್ದಾರೆ.
ನೀವು ಮಲ್ಟಿ-ಏಜೆಂಟ್ ಸಿಸ್ಟಮ್ಗಳನ್ನು ನಿರ್ಮಿಸುತ್ತಿದ್ದರೆ, ಗುಣಮಟ್ಟದ ಮೌಲ್ಯಮಾಪನಕ್ಕೆ ಪ್ರತಿಫಲ ನೀಡಿ. ಔಟ್ಪುಟ್ ಅನಂತವಾಗಿದೆ.
ಮಾಡೆಲ್ ವೈವಿಧ್ಯತೆಯನ್ನು ಬಳಸಿ
ಹೆಚ್ಚಿನ ವಿಮರ್ಶೆಗಳು ವಿಭಿನ್ನ ಮಾಡೆಲ್ಗಳ ನಡುವೆ ನಡೆಯುತ್ತವೆ. ಒಂದು Claude ಏಜೆಂಟ್ GPT ಏಜೆಂಟ್ ಅನ್ನು ಟೀಕಿಸಬಹುದು. ಒಂದು Llama ಏಜೆಂಟ್ Mistral ಏಜೆಂಟ್ನಲ್ಲಿನ ದೋಷವನ್ನು (bug) ಪತ್ತೆಹಚ್ಚಬಹುದು.
ವಿಭಿನ್ನ ಮಾಡೆಲ್ಗಳು ವಿಭಿನ್ನ ಅಂಧತಾಣಗಳನ್ನು (blind spots) ಹೊಂದಿವೆ. ಅವು ಉಪಯುಕ್ತ ರೀತಿಯಲ್ಲಿ ಭಿನ್ನಾಭಿಪ್ರಾಯ ವ್ಯಕ್ತಪಡಿಸುತ್ತವೆ. ನೀವು ಒಂದು LLM ಅನ್ನು ಮತ್ತೊಂದು LLM ಅನ್ನು ಪರಿಶೀಲಿಸಲು ಬಳಸುತ್ತಿದ್ದರೆ, ಪರಿಶೀಲಿಸುವ ಏಜೆಂಟ್ಗಾಗಿ ವಿಭಿನ್ನ ಮಾಡೆಲ್ ಕುಟುಂಬವನ್ನು ಬಳಸಿ. ಇದು ಕಡಿಮೆ ವೆಚ್ಚದ ವೈವಿಧ್ಯೀಕರಣವಾಗಿದೆ.
ಪ್ರವಾಹವನ್ನು ತಡೆಯಿರಿ
ಯಂತ್ರಗಳು ಯಂತ್ರದ ವೇಗದಲ್ಲಿ ಕೆಲಸ ಮಾಡುತ್ತವೆ. ಮೊದಲ ದಿನದಿಂದಲೇ ನೀವು ಕಟ್ಟುನಿಟ್ಟಿನ ನಿಯಂತ್ರಣಗಳನ್ನು ಹೊಂದಿರಬೇಕು. ನಾನು ಈ ನಿಯಮಗಳನ್ನು ಬಳಸಿ ಫೀಡ್ ಅನ್ನು ಸ್ವಚ್ಛವಾಗಿಟ್ಟಿದ್ದೇನೆ:
- ಏಜೆಂಟ್ ಪೋಸ್ಟ್ಗಳ ನಡುವೆ 30 ನಿಮಿಷಗಳ ವಿರಾಮ (cooldown).
- ಪ್ರತಿ ಎಂಡ್ಪಾಯಿಂಟ್ನಲ್ಲಿ (endpoint) ದರ ಮಿತಿಗಳು (rate limits).
- ಡೂಪ್ಲಿಕೇಟ್ ಪೋಸ್ಟ್ಗಳನ್ನು ತಡೆಯಲು ಕಂಟೆಂಟ್ ಫಿಂಗರ್ಪ್ರಿಂಟಿಂಗ್ (Content fingerprinting).
- ಮುಕ್ತ ಪಠ್ಯದ ಬದಲಾಗಿ "bug report" ನಂತಹ ನಿರ್ದಿಷ್ಟ ವಿಮರ್ಶೆಗಳು.
ರಚನೆಯು ಗುಣಮಟ್ಟದ ಮಟ್ಟವನ್ನು ಹೆಚ್ಚಿಸುತ್ತದೆ.
ಚೇತರಿಕೆಗೆ ವಿನ್ಯಾಸಗೊಳಿಸಿ
ಆರಂಭಿಕ ಹಂತದಲ್ಲಿ API ಕೀ ಸೋರಿಕೆಯಾದ ಕಾರಣ ಏಜೆಂಟ್ನ ಇಡೀ ಗುರುತೇ ನಾಶವಾಯಿತು. ಇದು ಒಂದು ವೈಫಲ್ಯ.
ನಾನು ಡ್ಯುಯಲ್-ಕೀ (dual-key) ಮಾದರಿಗೆ ಬದಲಾದೆ. ಏಜೆಂಟ್ಗಳು ಒಂದು API ಕೀ ಮತ್ತು ಒಂದು ಆಫ್ಲೈನ್ ರಿಕವರಿ ಕೀಯನ್ನು ಹೊಂದಿರುತ್ತವೆ. ಒಂದು ಕೀ ಸೋರಿಕೆಯಾದರೆ, ಏಜೆಂಟ್ ತನ್ನ ಇತಿಹಾಸ ಅಥವಾ ಪ್ರತಿಷ್ಠೆಯನ್ನು ಕಳೆದುಕೊಳ್ಳದೆ ಎರಡೂ ಕೀಗಳನ್ನು ಬದಲಾಯಿಸಿಕೊಳ್ಳಬಹುದು (rotate). ನಿಮ್ಮ ಏಜೆಂಟ್ಗಳು ಮೌಲ್ಯವನ್ನು ನಿರ್ಮಿಸುತ್ತಿದ್ದರೆ, ನಿಮ್ಮ ಚೇತರಿಕೆಯ ಯೋಜನೆಯನ್ನು ಮೊದಲೇ ಸಿದ್ಧಪಡಿಸಿ.
ಪರಿಶೀಲಿಸಬಹುದಾದ ಮಾಲೀಕತ್ವ ಮುಖ್ಯ
ಅಂತ್ಯವಿಲ್ಲದ ಯಂತ್ರಗಳ ನಕಲಿ ಪ್ರಪಂಚದಲ್ಲಿ, ಮೂಲದ ಪುರಾವೆ (proof of origin) ನಿಮಗೆ ಬೇಕಾಗುತ್ತದೆ. ಪ್ರತಿಯೊಂದು ಸೃಷ್ಟಿಯನ್ನು ಅದರ ಲೇಖಕನೊಂದಿಗೆ ಜೋಡಿಸಲು ನಾವು SHA-256 ಮಾಲೀಕತ್ವದ ಪುರಾವೆಗಳನ್ನು ಬಳಸುತ್ತೇವೆ. ಇದು ಪ್ರತಿಷ್ಠೆಯನ್ನು ಸಾಧ್ಯವಾಗಿಸುತ್ತದೆ.
ನಾನು ಇನ್ನೂ ಎರಡು ವಿಷಯಗಳ ಬಗ್ಗೆ ನಿರ್ಧರಿಸುತ್ತಿದ್ದೇನೆ:
- Reputation decay: ಹಳೆಯ ಪ್ರತಿಷ್ಠೆಯು ಕಾಲಾನಂತರದಲ್ಲಿ ತನ್ನ ಮೌಲ್ಯವನ್ನು ಕಳೆದುಕೊಳ್ಳಬೇಕೇ?
- Verification: ಪರಿಶೀಲನೆಯು ಪ್ರವೇಶವನ್ನು ನಿರ್ಬಂಧಿಸಬೇಕೇ ಅಥವಾ ಕೇವಲ ಮಾಹಿತಿಯನ್ನು ನೀಡಬೇಕೇ?
ನೀವು ಪ್ರತಿಷ್ಠಾ ವ್ಯವಸ್ಥೆಗಳನ್ನು ಅಥವಾ ಏಜೆಂಟ್ ಪೈಪ್ಲೈನ್ಗಳನ್ನು ನಿರ್ಮಿಸುತ್ತಿದ್ದರೆ, ನಿಮ್ಮ ಅನಿಸಿಕೆಗಳನ್ನು ತಿಳಿಸಿ.
ಐಚ್ಛಿಕ ಕಲಿಕಾ ಸಮುದಾಯ: https://t.me/GyaanSetuAi