ಲಾರ್ಜ್ ಲ್ಯಾಂಗ್ವೇಜ್ ಮಾಡೆಲ್ಗಳ (LLMs) ಬಗ್ಗೆ ಯಾವುದೇ ತಾಂತ್ರಿಕ ಚರ್ಚೆಯಲ್ಲಿ ಐದು ನಿಮಿಷ ಕಳೆಯಿರಿ ಮತ್ತು ನೀವು ಒಂದೇ ಪ್ರಶ್ನೆಯನ್ನು ಕೇಳುತ್ತಿರುತ್ತೀರಿ: ಯಾವ ಮಾಡೆಲ್ ಅತ್ಯುತ್ತಮವಾದುದು? ಬೇಸ್ ಮಾಡೆಲ್ ಆಯ್ಕೆಯು ಒಂದು AI ಉತ್ಪನ್ನವು ಯಶಸ್ವಿಯಾಗುತ್ತದೆಯೇ ಅಥವಾ ವಿಫಲವಾಗುತ್ತದೆಯೇ ಎಂಬುದನ್ನು ನಿರ್ಧರಿಸುವ ಏಕೈಕ ನಿರ್ಧಾರ ಎಂಬಂತೆ, ತಂಡಗಳು ಬೆಂಚ್ಮಾರ್ಕ್ ಲೀಡರ್ಬೋರ್ಡ್ಗಳು, ಪ್ಯಾರಾಮೀಟರ್ ಸಂಖ್ಯೆಗಳು ಮತ್ತು ಕಾಂಟೆಕ್ಸ್ಟ್ ವಿಂಡೋ ಗಾತ್ರಗಳ ಬಗ್ಗೆ ತಲೆಕೆಡಿಸಿಕೊಳ್ಳುತ್ತವೆ. ಆದರೆ ಅದು ನಿಜವಲ್ಲ. ನೈಜ ಪ್ರೊಡಕ್ಷನ್ ಸಿಸ್ಟಮ್ಗಳಲ್ಲಿ, ಮಾಡೆಲ್ನಿಗಿಂತ ಅದರ ಸುತ್ತಲಿರುವ ಹಾರ್ನೆಸ್ (harness) ಹೆಚ್ಚು ಮುಖ್ಯವಾಗಿರುತ್ತದೆ.
ಹಾರ್ನೆಸ್ ಇಲ್ಲದ ಮಾಡೆಲ್ ಕೇವಲ ಒಂದು ಪಠ್ಯ ಜನರೇಟರ್ (text generator) ಅಷ್ಟೇ. ಹಾರ್ನೆಸ್ ಆ ಜನರೇಟರ್ ಅನ್ನು ಬಳಕೆದಾರರ ಮುಂದೆ ಅಥವಾ ನಿರ್ಣಾಯಕ ವ್ಯವಹಾರದ ತರ್ಕದ (business logic) ಮುಂದೆ ಇರಿಸಲು ಯೋಗ್ಯವಾದ, ವಿಶ್ವಾಸಾರ್ಹ, ವೀಕ್ಷಿಸಬಹುದಾದ ಮತ್ತು ಸುರಕ್ಷಿತವಾದ ವಸ್ತುವನ್ನಾಗಿ ಪರಿವರ್ತಿಸುತ್ತದೆ.
ಹಾರ್ನೆಸ್ (Harness) ವಾಸ್ತವವಾಗಿ ಎಂದರೇನು
ಹಾರ್ನೆಸ್ ಎಂಬುದು ಕಚ್ಚಾ ಮಾಡೆಲ್ ತೂಕಗಳು (raw model weights) ಮತ್ತು ನಿಮ್ಮ ಅಂತಿಮ ಬಳಕೆದಾರರು ಪಡೆಯುವ ಮೌಲ್ಯದ ನಡುವೆ ಇರುವ ಎಲ್ಲವನ್ನೂ ಒಳಗೊಂಡಿರುತ್ತದೆ. ಇದು ಪ್ರಾಂಪ್ಟ್ ಮ್ಯಾನೇಜ್ಮೆಂಟ್, ರಿಟ್ರಿವಲ್ ಪೈಪ್ಲೈನ್ಗಳು, ಔಟ್ಪುಟ್ ವ್ಯಾಲಿಡೇಶನ್, ಟೂಲ್ ಆರ್ಕೆಸ್ಟ್ರೇಶನ್, ಎವಲ್ಯೂಯೇಶನ್ ಸೂಟ್ಗಳು, ಲಾಗಿಂಗ್, ಫಾಲ್ಬ್ಯಾಕ್ ಲಾಜಿಕ್, ವೆಚ್ಚ ನಿಯಂತ್ರಣಗಳು ಮತ್ತು ಫೀಡ್ಬ್ಯಾಕ್ ಮೆಕ್ಯಾನಿಸಂಗಳನ್ನು ಒಳಗೊಂಡಿರುತ್ತದೆ. ಮಾಡೆಲ್ ಅನ್ನು ಒಂದು ಎಂಜಿನ್ ಎಂದು ಪರಿಗಣಿಸಿದರೆ, ಹಾರ್ನೆಸ್ ಅನ್ನು ಚಾಸಿಸ್, ಬ್ರೇಕ್ಗಳು, ಸ್ಟೀರಿಂಗ್ ಮತ್ತು ಡ್ಯಾಶ್ಬೋರ್ಡ್ ಎಂದು ಭಾವಿಸಿ. ಕಳಪೆ ನಿರ್ಮಾಣದ ಚೌಕಟ್ಟಿನಲ್ಲಿರುವ ಶಕ್ತಿಯುತ ಎಂಜಿನ್, ಮೊದಲ ತಿರುವಿನಲ್ಲಿಯೇ ಅಪಘಾತಕ್ಕೀಡಾಗುತ್ತದೆ.
ಅನೇಕ ತಂಡಗಳು ಇಂಟಿಗ್ರೇಶನ್ ಅನ್ನು ಕೇವಲ ಒಂದು API ಕಾಲ್ ಎಂದು ಪರಿಗಣಿಸುತ್ತವೆ. ಅವರು ಬಳಕೆದಾರರ ಸ್ಟ್ರಿಂಗ್ ಅನ್ನು ನೇರವಾಗಿ chat.completions.create ಗೆ ಕಳುಹಿಸುತ್ತಾರೆ, ಅದರ ಫಲಿತಾಂಶವನ್ನು ಸ್ಕ್ರೀನ್ ಮೇಲೆ ತೋರಿಸುತ್ತಾರೆ ಮತ್ತು ಅದನ್ನು ಒಂದು ಉತ್ಪನ್ನ ಎಂದು ಕರೆಯುತ್ತಾರೆ. ಇದು ಕೇವಲ ಡೆಮೊಗೆ ಮಾತ್ರ ಕೆಲಸ ಮಾಡುತ್ತದೆ. ಅಸ್ಪಷ್ಟತೆ, ಅಡ್ವರ್ಸರಿಯಲ್ ಇನ್ಪುಟ್ (adversarial input), ಬಹು-ಹಂತದ ತಾರ್ಕಿಕತೆ ಅಥವಾ ಬಾಹ್ಯ ವ್ಯವಸ್ಥೆಗಳೊಂದಿಗೆ ಸಂಪರ್ಕದ ಅಗತ್ಯವಿರುವಾಗ ಇದು ಕುಸಿದು ಬೀಳುತ್ತದೆ. ಹಾರ್ನೆಸ್ ಎಂಬುದು ಎಂಜಿನಿಯರಿಂಗ್ ಶಿಸ್ತಿನ ತಾಣವಾಗಿದೆ. ಇಲ್ಲಿ ನೀವು ದೋಷಗಳನ್ನು ಹಿಡಿಯುತ್ತೀರಿ, ಹ್ಯಾಲ್ಯುಸಿನೇಷನ್ಗಳಿಂದ (hallucinations) ಚೇತರಿಸಿಕೊಳ್ಳುತ್ತೀರಿ ಮತ್ತು ಸಹಾಯ ಮಾಡುವ AI ಎಂಬುದು ಸ್ಕೀಮಾವನ್ನು ತಪ್ಪಾಗಿ ಓದಿದ್ದಕ್ಕಾಗಿ ಅಕಸ್ಮಾತ್ತಾಗಿ ಡೇಟಾಬೇಸ್ ರೆಕಾರ್ಡ್ ಅನ್ನು ಡಿಲೀಟ್ ಮಾಡದಂತೆ ನೋಡಿಕೊಳ್ಳುತ್ತೀರಿ.
ಬೆಂಚ್ಮಾರ್ಕ್ಗಳು ಮಾಹಿತಿಯನ್ನು ಮರೆಮಾಡುವ ಮೂಲಕ ಸುಳ್ಳು ಹೇಳುತ್ತವೆ
ಸಾರ್ವಜನಿಕ ಬೆಂಚ್ಮಾರ್ಕ್ಗಳು ವಿಶಾಲವಾದ ಜ್ಞಾನವನ್ನು ಅಳೆಯುತ್ತವೆಯೇ ಹೊರತು ನಿಮ್ಮ ನಿರ್ದಿಷ್ಟ ಸಮಸ್ಯೆಯನ್ನಲ್ಲ. ಒಂದು ಮಾಡೆಲ್ ವೈದ್ಯಕೀಯ ಪರವಾನಗಿ ಪ್ರಶ್ನೆಗಳಲ್ಲಿ ಶೇಕಡಾ 90 ರಷ್ಟು ಅಂಕಗಳನ್ನು ಪಡೆಯಬಹುದು ಮತ್ತು ಆದರೂ ನಿಮ್ಮ ಆಂತರಿಕ ಟಿಕೆಟ್-ರೂಟಿಂಗ್ ವರ್ಕ್ಫ್ಲೋದಲ್ಲಿ ಸಂಪೂರ್ಣವಾಗಿ ವಿಫಲವಾಗಬಹುದು; ಏಕೆಂದರೆ ಅದನ್ನು ನಿಮ್ಮ ಸಂಕ್ಷಿಪ್ತ ರೂಪಗಳು (abbreviations), ನಿಮ್ಮ ಎಡ್ಜ್ ಕೇಸ್ಗಳು ಅಥವಾ ಒಂದೇ ವಾಕ್ಯದಲ್ಲಿ ಮೂರು ಭಾಷೆಗಳಲ್ಲಿ ಬರೆಯುವ ನಿಮ್ಮ ಬಳಕೆದಾರರ ವಿರುದ್ಧ ಎಂದಿಗೂ ಪರೀಕ್ಷಿಸಲಾಗಿಲ್ಲ.
ಹಾರ್ನೆಸ್ ಆ ಅಂತರವನ್ನು ತುಂಬುತ್ತದೆ. ಸರಿಯಾದ ಎವಲ್ಯೂಯೇಶನ್ ಹಾರ್ನೆಸ್ ನಿಮ್ಮ ನೈಜ ಪ್ರೊಡಕ್ಷನ್ ಪ್ರಾಂಪ್ಟ್ಗಳನ್ನು ನಿಮ್ಮ ನೈಜ ನಿರೀಕ್ಷಿತ ಔಟ್ಪುಟ್ಗಳ ವಿರುದ್ಧ ರನ್ ಮಾಡುತ್ತದೆ, ಬೇರೆಯವರ ಪ್ರಮಾಣಿತ ಪರೀಕ್ಷೆಯ ವಿರುದ್ಧವಲ್ಲ. ನೀವು ಒಂದು ಮಾಡೆಲ್ ಪ್ರೊವೈಡರ್ನಿಂದ ಇನ್ನೊಂದಕ್ಕೆ ಬದಲಾಯಿಸಿದಾಗ ಅದು ಉಂಟಾಗುವ ರಿಗ್ರೆಷನ್ಗಳನ್ನು (regressions) ಇದು ಟ್ರ್ಯಾಕ್ ಮಾಡುತ್ತದೆ. ಭೀಕರ ತಪ್ಪು ತಿಳುವಳಿಕೆಯನ್ನು ಉಂಟುಮಾಡುವ ಶೇಕಡಾ 2 ರಷ್ಟು ಇನ್ಪುಟ್ಗಳನ್ನು ಇದು ಎತ್ತಿ ತೋರಿಸುತ್ತದೆ. ಇದು ಇಲ್ಲದಿದ್ದರೆ, ನೀವು ಕಣ್ಣು ಮುಚ್ಚಿ ಹಾರಾಡುತ್ತಿದ್ದೀರಿ ಎಂದರ್ಥ. ಇದು ಇದ್ದರೆ, ನೀವು ಸಣ್ಣ ಮತ್ತು ಅಗ್ಗದ ಮಾಡೆಲ್ ಅನ್ನು ಬಳಸಿದರೂ ದೊಡ್ಡ ಮಾಡೆಲ್ ಅನ್ನು ಮೀರಿಸಬಹುದು, ಏಕೆಂದರೆ ನೀವು ವಿಫಲತೆಯ ವಿಧಾನಗಳನ್ನು ಗುರುತಿಸಿ ಮತ್ತು ಅವುಗಳನ್ನು ಕಾಂಟೆಕ್ಸ್ಟ್ ಇಂಜೆಕ್ಷನ್ ಅಥವಾ ಪೋಸ್ಟ್-ಪ್ರೊಸೆಸಿಂಗ್ ನಿಯಮಗಳೊಂದಿಗೆ ಸರಿಪಡಿಸಿದ್ದೀರಿ.
ಸುರಕ್ಷತೆಯು ಹಾರ್ನೆಸ್ನಲ್ಲಿರುತ್ತದೆ, ಮಾಡೆಲ್ ತೂಕಗಳಲ್ಲಿ (weights) ಅಲ್ಲ
ನಿರ್ಬಂಧಗಳಿಲ್ಲದೆ ಸಾಮರ್ಥ್ಯಗಳು ಅಪಾಯಕಾರಿಯಾಗಿವೆ. ಪ್ರಪಂಚದ ಅತ್ಯಂತ ಬುದ್ಧಿವಂತ ಮಾಡೆಲ್ಗೆ ಪ್ರೊಡಕ್ಷನ್ APIs, ಗ್ರಾಹಕರ ಡೇಟಾ ಅಥವಾ ಎಕ್ಸಿಕ್ಯೂಟಬಲ್ ಕೋಡ್ಗೆ ನೇರವಾದ, ಮಧ್ಯಸ್ಥಿಕೆಯಿಲ್ಲದ ಪ್ರವೇಶವಿರಬಾರದು. ಮಾಡೆಲ್ ಯಾವುದನ್ನು ಮುಟ್ಟಲು ಅನುಮತಿಸಲಾಗಿದೆ ಮತ್ತು ಕಾರ್ಯಗತಗೊಳಿಸುವ ಮೊದಲು ವಿನಂತಿಗಳನ್ನು ಹೇಗೆ ವ್ಯಾಲಿಡೇಟ್ ಮಾಡಲಾಗುತ್ತದೆ ಎಂಬುದನ್ನು ಹಾರ್ನೆಸ್ ನಿರ್ಧರಿಸುತ್ತದೆ.
ಒಂದು ಸರಳ ಉದಾಹರಣೆಯನ್ನು ಗಮನಿಸಿ: ಆರ್ಡರ್ ಸ್ಥಿತಿಯನ್ನು ಪರಿಶೀಲಿಸಬಲ್ಲ ಮತ್ತು ರಿಫಂಡ್ ನೀಡಬಲ್ಲ ಸಪೋರ್ಟ್ ಏಜೆಂಟ್. ಮಾಡೆಲ್ ನೈಸರ್ಗಿಕ ಭಾಷೆಯಲ್ಲಿ ಕ್ರಮಗಳನ್ನು ಸೂಚಿಸುತ್ತದೆ. ಹಾರ್ನೆಸ್ ಆ ಸೂಚನೆಗಳನ್ನು ಸಂರಚಿತ API ಕಾಲ್ಗಳಿಗೆ (structured API calls) ನಕ್ಷೆಯಾಗಿಸುತ್ತದೆ, ಬಳಕೆದಾರರ ಅನುಮತಿಗಳನ್ನು ಪರಿಶೀಲಿಸುತ್ತದೆ, ವಿನಂತಿಸುವ ಬಳಕೆದಾರರ ಖಾತೆಯಲ್ಲಿ ಆರ್ಡರ್ ಐಡಿ ಇದೆಯೇ ಎಂದು ದೃಢೀಕರಿಸುತ್ತದೆ, ರೇಟ್ ಲಿಮಿಟ್ಗಳನ್ನು ಜಾರಿಗೊಳಿಸುತ್ತದೆ ಮತ್ತು ಒಂದು ನಿರ್ದಿಷ್ಟ ಮಿತಿಗಿಂತ ಹೆಚ್ಚಿನ ರಿಫಂಡ್ಗಳಿಗೆ ಸ್ಪಷ್ಟವಾದ ಮಾನವ ದೃಢೀಕರಣವನ್ನು ಬಯಸುತ್ತದೆ. ಮಾಡೆಲ್ ಪ್ರಸ್ತಾಪಿಸುತ್ತದೆ. ಹಾರ್ನೆಸ್ ಅನುಮತಿಸುತ್ತದೆ. "ಈಗ ಮಾಡೆಲ್ ಬುದ್ಧಿವಂತವಾಗಿದೆ" ಎಂಬ ಕಾರಣಕ್ಕೆ ಈ ಪದರಗಳಲ್ಲಿ ಯಾವುದನ್ನಾದರೂ ತೆಗೆದುಹಾಕುವುದು ನೀವು ದುಬಾರಿ ಹೊಣೆಗಾರಿಕೆಯನ್ನು ನಿರ್ಮಿಸಿದಂತೆ.
ಇದೇ ವಿಷಯ ಕಂಟೆಂಟ್ ಸೇಫ್ಟಿಗೂ ಅನ್ವಯಿಸುತ್ತದೆ. ಬೇಸ್ ಮಾಡೆಲ್ಗಳು ಹಾನಿಕಾರಕ, ಪಕ್ಷಪಾತದ ಅಥವಾ ಬ್ರ್ಯಾಂಡ್ ವ್ಯಾಪಕವಲ್ಲದ ಔಟ್ಪುಟ್ಗಳನ್ನು ನೀಡಬಹುದು. ಹಾರ್ನೆಸ್ ಔಟ್ಪುಟ್ ಕ್ಲಾಸಿಫೈಯರ್ಗಳು, ಬದಲಾಯಿಸಲಾದ ಪ್ರಾಂಪ್ಟ್ಗಳೊಂದಿಗೆ ರಿಟ್ರೈ ಪಾಲಿಸಿಗಳು ಮತ್ತು ಆಡಿಟ್ ಟ್ರೈಲ್ಗಳಿಗಾಗಿ ಲಾಗಿಂಗ್ ಅನ್ನು ಅಳವಡಿಸುತ್ತದೆ. ಫೌಂಡೇಶನ್ ಮಾಡೆಲ್ ಪ್ರೊವೈಡರ್ ಇದನ್ನು ಪರಿಪೂರ್ಣವಾಗಿ ಪರಿಹರಿಸುವವರೆಗೆ ಕಾಯುವುದು ಯಾವುದೇ ತಂತ್ರವಲ್ಲ; ಅದು ನಿಮ್ಮ ಪ್ರತಿಷ್ಠೆಯೊಂದಿಗೆ ನೀವು ಮಾಡುವ ಜೂಜಾಟವಾಗಿದೆ.
ಪ್ರೊಡಕ್ಷನ್ ಹಾರ್ನೆಸ್ನ ರಚನೆ (Anatomy)
ನೀವು ದೀರ್ಘಾವಧಿಗಾಗಿ ನಿರ್ಮಿಸುತ್ತಿದ್ದರೆ, ನಿಮ್ಮ ಹಾರ್ನೆಸ್ವು ಯಾವುದೇ ಇತರ ಬ್ಯಾಕೆಂಡ್ ಸಿಸ್ಟಮ್ನಂತೆ ಎಚ್ಚರಿಕೆಯಿಂದ ವಿನ್ಯಾಸಗೊಳಿಸಲ್ಪಟ್ಟಿರಬೇಕು. ಆಟಿಕೆಗಳು ಮತ್ತು ಪರಿಕರಗಳ ನಡುವಿನ ವ್ಯತ್ಯಾಸವನ್ನು ತೋರಿಸುವ ಘಟಕಗಳು ಇಲ್ಲಿವೆ.
ಎವಲ್ಯೂಯೇಶನ್ ಮತ್ತು ರಿಗ್ರೆಷನ್ ಟೆಸ್ಟಿಂಗ್. ಪ್ರತಿ ಡಿಸ್ಪ್ಲೋಯ್ಮೆಂಟ್ (deployment) ಮೊದಲು ಸ್ವಯಂಚಾಲಿತವಾಗಿ ರನ್ ಆಗುವ ನೈಜ ಬಳಕೆದಾರರ ಪ್ರಶ್ನೆಗಳು ಮತ್ತು ನಿರೀಕ್ಷಿತ ವರ್ತನೆಗಳ ಸರಣಿ (suite) ನಿಮಗೆ ಬೇಕಾಗುತ್ತದೆ. ನಿಮ್ಮ ಪ್ರಾಂಪ್ಟ್ ಟೆಂಪ್ಲೇಟ್ ಅನ್ನು ಬದಲಾಯಿಸಿ ಅಥವಾ ಮಾಡೆಲ್ಗಳನ್ನು ಬದಲಾಯಿಸಿ, ನಿಖರತೆ ಸುಧಾರಿಸಿದೆಯೇ ಮತ್ತು ನೀವು ಯಾವುದಾದರೂ ನಿರ್ಣಾಯಕ ವರ್ಕ್ಫ್ಲೋವನ್ನು ಹಾಳುಮಾಡಿದ್ದೀರಾ ಎಂಬುದನ್ನು ನೀವು ನಿಮಿಷಗಳಲ್ಲಿ ನೋಡಬಹುದು.
ವೀಕ್ಷಣೆ ಮತ್ತು ಟ್ರೇಸಿಂಗ್ (Observability and tracing). LLM ಕರೆಗಳು ಅನಿಶ್ಚಿತ ಮತ್ತು ದುಬಾರಿಯಾಗಿರುತ್ತವೆ. ನೀವು ಪ್ರತಿ ವಿನಂತಿಯನ್ನು ರಿಟ್ರಿವಲ್ (retrieval), ಪ್ರಾಂಪ್ಟ್ ರಚನೆ (prompt construction), ಮಾಡೆಲ್ ಇನ್ಫರೆನ್ಸ್ (model inference) ಮತ್ತು ಪೋಸ್ಟ್-ಪ್ರೊಸೆಸಿಂಗ್ (post-processing) ಮೂಲಕ ಟ್ರೇಸ್ ಮಾಡಬೇಕಾಗುತ್ತದೆ. ಬಳಕೆದಾರರು ಕೆಟ್ಟ ಫಲಿತಾಂಶವನ್ನು ವರದಿ ಮಾಡಿದಾಗ, ಅದನ್ನು ಉಂಟುಮಾಡಿದ ನಿಖರವಾದ ಸಂದರ್ಭ (context) ಮತ್ತು ಪ್ರಾಂಪ್ಟ್ ಅನ್ನು ನೀವು ಮರುನಿರ್ಮಿಸಲು ಸಾಧ್ಯವಾಗಬೇಕು.
ಸಂದರ್ಭ ಎಂಜಿನಿಯರಿಂಗ್ (Context engineering). ಹೆಚ್ಚಿನ ಪ್ರೊಡಕ್ಷನ್ ವೈಫಲ್ಯಗಳು ಮಾಡೆಲ್ನ ದಡ್ಡತನದಿಂದಲ್ಲ, ಬದಲಾಗಿ ಕೆಟ್ಟ ಸಂದರ್ಭದಿಂದ (bad context) ಉಂಟಾಗುತ್ತವೆ. ನಿಮ್ಮ ಹಾರ್ನೆಸ್ (harness) ಚಂಕಿಂಗ್ ತಂತ್ರಗಳು, ರಿಟ್ರಿವಲ್ ರ್ಯಾಂಕಿಂಗ್, ಟೋಕನ್ ಬಜೆಟ್ಗಳು ಮತ್ತು ರೀ-ರ್ಯಾಂಕಿಂಗ್ ತರ್ಕವನ್ನು ನಿರ್ವಹಿಸುತ್ತದೆ. ಅತ್ಯುತ್ತಮವಾದ ರಿಟ್ರೀವ್ ಮಾಡಲಾದ ಸಂದರ್ಭವನ್ನು ಹೊಂದಿರುವ ಸಾಧಾರಣ ಮಾಡೆಲ್, ಕಳಪೆ ಸಂದರ್ಭವನ್ನು ಹೊಂದಿರುವ ಫ್ರಾಂಟಿಯರ್ ಮಾಡೆಲ್ ಅನ್ನು ಬಹುತೇಕ ಪ್ರತಿ ಬಾರಿಯೂ ಸೋಲಿಸುತ್ತದೆ.
ಟೂಲ್ ಬಳಕೆ ಮತ್ತು ಗಾರ್ಡ್ರೈಲ್ಸ್ (Tool use and guardrails). ಮಾಡೆಲ್ ಬಳಸಬಹುದಾದ ಯಾವುದೇ ಫಂಕ್ಷನ್ ಸ್ಕೀಮಾ ವ್ಯಾಲಿಡೇಶನ್, ಅನುಮತಿ ಪರಿಶೀಲನೆ ಮತ್ತು ಸ್ಯಾನಿಟೈಸೇಶನ್ ಮೂಲಕ ಹಾದುಹೋಗಲೇಬೇಕು. ಹಾರ್ನೆಸ್ ಪಾರ್ಸಿಂಗ್ ದೋಷಗಳನ್ನು ಸುಗಮವಾಗಿ ನಿರ್ವಹಿಸಬೇಕು. ಮಾಡೆಲ್ ಯಾವುದಾದರೂ ಪ್ಯಾರಾಮೀಟರ್ ಅನ್ನು ಹ್ಯಾಲ್ಯುಸಿನೇಟ್ (hallucinate) ಮಾಡಿದರೆ, ಹಾರ್ನೆಸ್ ಅದನ್ನು ಕಾರ್ಯಗತಗೊಳಿಸುವ ಬದಲು ವಿನಂತಿಯನ್ನು ತಿರಸ್ಕರಿಸುತ್ತದೆ.
ವೆಚ್ಚ ಮತ್ತು ವಿಳಂಬ ನಿಯಂತ್ರಣಗಳು (Cost and latency controls). ಪ್ರತಿಯೊಂದು ಕ್ವೇರಿಗೂ ದೊಡ್ಡ ಮಾಡೆಲ್ ಅಗತ್ಯವಿಲ್ಲ. ಹಾರ್ನೆಸ್ನಲ್ಲಿರುವ ರೂಟಿಂಗ್ ಲೇಯರ್ ಬರುವ ವಿನಂತಿಗಳನ್ನು ವರ್ಗೀಕರಿಸಬಹುದು ಮತ್ತು ಸರಳ ಪ್ರಶ್ನೆಗಳನ್ನು ಸಣ್ಣ, ವೇಗವಾದ ಮಾಡೆಲ್ಗಳಿಗೆ ಕಳುಹಿಸಬಹುದು, ಹಾಗೂ ಸಂಕೀರ್ಣ ಕಾರ್ಯಗಳಿಗಾಗಿ ದುಬಾರಿ ರೀಸನಿಂಗ್ ಅನ್ನು ಮೀಸಲಿಡಬಹುದು. ಸಾಮಾನ್ಯ ಪ್ರತಿಕ್ರಿಯೆಗಳನ್ನು ಕ್ಯಾಶಿಂಗ್ ಮಾಡುವುದು ಅನಗತ್ಯ ಇನ್ಫರೆನ್ಸ್ ಅನ್ನು ತಡೆಯುತ್ತದೆ.
ಫೀಡ್ಬ್ಯಾಕ್ ಲೂಪ್ಗಳು (Feedback loops). ಹಾರ್ನೆಸ್ ಥಂಬ್ಸ್-ಅಪ್, ಥಂಬ್ಸ್-ಡೌನ್, ತಿದ್ದುಪಡಿಗಳು ಮತ್ತು ಫಾಲೋ-ಅಪ್ ಪ್ರಶ್ನೆಗಳಂತಹ ಸೂಚನೆಗಳನ್ನು ಸೆರೆಹಿಡಿಯಬೇಕು. ಈ ಡೇಟಾ ಪ್ರಾಂಪ್ಟ್ ಸುಧಾರಣೆ, ಫೈನ್-ಟ್ಯೂನಿಂಗ್ ಅಥವಾ ಇವ್ಯಾಲ್ಯೂಯೇಶನ್ ಸೆಟ್ ವಿಸ್ತರಣೆಗೆ ಸಹಾಯ ಮಾಡುತ್ತದೆ. ಮಾಡೆಲ್ ತನ್ನಷ್ಟಕ್ಕೆ ತಾನೇ ಪ್ರೊಡಕ್ಷನ್ನಿಂದ ಕಲಿಯುವುದಿಲ್ಲ; ಹಾರ್ನೆಸ್ ಪಾಠಗಳನ್ನು ಸಂಗ್ರಹಿಸಬೇಕಾಗುತ್ತದೆ.
ಮಾಡೆಲ್ಗಳು ಸರಕುಗಳು. ಹಾರ್ನೆಸ್ಗಳು ಕೋಟೆಗಳು (Moats).
ಫೌಂಡೇಶನ್ ಮಾಡೆಲ್ ಲೇಯರ್ ವೇಗವಾಗಿ ಸಂಕುಚಿತಗೊಳ್ಳುತ್ತಿದೆ. ಬೆಲೆಗಳು ಕುಸಿಯುತ್ತಿವೆ, ಓಪನ್ ವೇಟ್ಸ್ ಸಾಮರ್ಥ್ಯದ ಅಂತರವನ್ನು ಕಡಿಮೆ ಮಾಡುತ್ತಿವೆ ಮತ್ತು ಪ್ರೊವೈಡರ್ಗಳ ನಡುವಿನ ಬದಲಾವಣೆಯ ವೆಚ್ಚವು ಪ್ರತಿ ರವಸೆಯಲ್ಲೂ ಕಡಿಮೆಯಾಗುತ್ತಿದೆ. ಎರಡು ವರ್ಷಗಳಲ್ಲಿ, ನೀವು ಆಯ್ಕೆ ಮಾಡಿದ ನಿರ್ದಿಷ್ಟ ಮಾಡೆಲ್ ಅನ್ನು ಮೂರು ಅಗ್ಗದ ಪರ್ಯಾಯಗಳೊಂದಿಗೆ ಬದಲಾಯಿಸಬಹುದಾದ ಸಾಧ್ಯತೆಯಿದೆ. ದೀರ್ಘಕಾಲ ಉಳಿಯುವ ಎಂಜಿನಿಯರಿಂಗ್ ಹೂಡಿಕೆಯೆಂದರೆ ಅದರ ಸುತ್ತ ನೀವು ನಿರ್ಮಿಸುವ ಮೂಲಸೌಕರ್ಯ (infrastructure).
ಇದನ್ನು ಅರ್ಥಮಾಡಿಕೊಂಡ ಕಂಪನಿಗಳು ತಮ್ಮ ಅತ್ಯಂತ ಅಪರೂಪದ ಸಂಪನ್ಮೂಲವಾದ—ಪ್ರತಿಭಾವಂತ ಎಂಜಿನಿಯರಿಂಗ್ ಸಮಯವನ್ನು—ಸಿಸ್ಟಮ್ಸ್ ಇಂಟಿಗ್ರೇಷನ್ ಲೇಯರ್ ಮೇಲೆ ಕೇಂದ್ರೀಕರಿಸುತ್ತವೆ. ಅವು ತಮ್ಮ ಡೊಮೇನ್ಗೆ ಸಂಬಂಧಿಸಿದ ಸ್ವಂತ ಇವ್ಯಾಲ್ಯೂಯೇಶನ್ ಡೇಟಾ ಸೆಟ್ಗಳನ್ನು ನಿರ್ಮಿಸುತ್ತವೆ. ಅವು ವರ್ಷಗಳ ಕಾಲ ಸಂಗ್ರಹವಾದ ಸಾಂಸ್ಥಿಕ ಜ್ಞಾನವನ್ನು ಪ್ರತಿಬಿಂಬಿಸುವ ರಿಟ್ರಿವಲ್ ಪೈಪ್ಲೈನ್ಗಳನ್ನು ರಚಿಸುತ್ತವೆ. ನಿರ್ಧಾರ ತೆಗೆದುಕೊಳ್ಳುವುದು ಮುಖ್ಯವಿರುವ ಕಡೆಗಳಲ್ಲಿ ಮನುಷ್ಯರನ್ನು ಒಳಗೊಂಡಿರುವ (human-in-the-loop) ಸಂವಹನ ಮಾದರಿಗಳನ್ನು ಅವು ವಿನ್ಯಾಸಗೊಳಿಸುತ್ತವೆ. ಅದು ರಕ್ಷಿಸಬಹುದಾದ ಸಾಮರ್ಥ್ಯವಾಗಿದೆ. ಉತ್ತಮವಾದ API ಎಂಡ್ಪಾಯಿಂಟ್ ಅಷ್ಟಾಗಿ ಅಲ್ಲ.
ಇದರರ್ಥ ನಿಮ್ಮ ರೋಡ್ಮ್ಯಾಪ್ ಮತ್ತೊಂದು ಕಂಪನಿಯ ರಿಲೀಸ್ ಸೈಕಲ್ಗೆ ಅಧೀನವಾಗಿರಬಾರದು. ಒಂದು ಬಲಿಷ್ಠ ಹಾರ್ನೆಸ್ ನೀವು ಕನಿಷ್ಠ ತೊಂದರೆಯೊಂದಿಗೆ ಫೌಂಡೇಶನ್ ಮಾಡೆಲ್ಗಳನ್ನು ಬದಲಾಯಿಸಲು ಅನುಮತಿಸುತ್ತದೆ. ಹೊಸ ವರ್ಷನ್ ಬಂದಾಗ, ನೀವು ನಿಮ್ಮ ಇವ್ಯಾಲ್ ಸೂಟ್ ಅನ್ನು ರನ್ ಮಾಡಿ, ರಿಗ್ರೆಷನ್ಗಳನ್ನು ಪರಿಶೀಲಿಸಿ, ಮತ್ತು ಅಂಕಿಅಂಶಗಳು ಸುಧಾರಿಸಿದರೆ ಬದಲಾಯಿಸಬಹುದು. ಹಾರ್ನೆಸ್ ಇಲ್ಲದಿದ್ದರೆ, ಲೇಟೆಸ್ಟ್ ಮಾಡೆಲ್ ಚೇಂಜ್ಲಾಗ್ ನಿಮ್ಮ ಅಗತ್ಯಗಳಿಗೆ ಹೊಂದಿಕೆಯಾಗಲಿ ಎಂದು ಪ್ರಾರ್ಥಿಸುವುದರಲ್ಲೇ ನೀವು ಸಿಲುಕಿಕೊಳ್ಳುತ್ತೀರಿ.
ನಿಜವಾದ ಸಾರಾಂಶ (The Real Takeaway)
ಮಾಡೆಲ್ ಆಯ್ಕೆಯನ್ನು ಪ್ರಾಥಮಿಕ ಕಾರ್ಯತಂತ್ರದ ನಿರ್ಧಾರವೆಂದು ಪರಿಗಣಿಸುವುದನ್ನು ನಿಲ್ಲಿಸಿ. ಅದು ಕೇವಲ ಖರೀದಿ (procurement) ಪ್ರಶ್ನೆಯಾಗಿದೆ. ಮಾಡೆಲ್ನ ಔಟ್ಪುಟ್ಗಳನ್ನು ಸುರಕ್ಷಿತವಾಗಿ, ಸ್ಥಿರವಾಗಿ ಮತ್ತು ವೀಕ್ಷಿಸಬಹುದಾದ ರೀತಿಯಲ್ಲಿ ವ್ಯವಹಾರದ ಫಲಿತಾಂಶಗಳನ್ನಾಗಿ ಪರಿವರ್ತಿಸುವ ಯಂತ್ರವನ್ನು ನಿರ್ಮಿಸುವುದೇ ನಿಜವಾದ ಕಾರ್ಯತಂತ್ರದ ಕೆಲಸ. ಮಾಡೆಲ್ ಅನ್ನು ಖರೀದಿಸಿ, ಆದರೆ ಹಾರ್ನೆಸ್ ಅನ್ನು ನಿರ್ಮಿಸಿ. AI ನಿಯೋಜನೆಯ ಮುಂದಿನ ಹಂತದಲ್ಲಿ ಗೆಲ್ಲುವ ತಂಡಗಳು, ಸಾಧಾರಣ ಮಾಡೆಲ್ ಮೇಲೆ ನಿರ್ಮಿಸಲಾದ ವಿಶ್ವಾಸಾರ್ಹ ವ್ಯವಸ್ಥೆಯು, ಅದ್ಭುತವಾದ ಮಾಡೆಲ್ ಮೇಲೆ ನಿರ್ಮಿಸಲಾದ ನಿಯಂತ್ರಣವಿಲ್ಲದ ವ್ಯವಸ್ಥೆಯನ್ನು ಪ್ರತಿ ಬಾರಿಯೂ ಸೋಲಿಸುತ್ತದೆ ಎಂಬುದನ್ನು ಅರ್ಥಮಾಡಿಕೊಂಡ ತಂಡಗಳಾಗಿರುತ್ತವೆ.