𝗛𝗮𝗿𝗻𝗲𝘀𝘀 𝗘𝗻𝗴𝗶𝗻𝗲𝗲𝗿𝗶𝗻𝗴 𝗛𝗮𝘀 𝗡𝗼 𝗙𝗶𝘅𝗲𝗱 𝗔𝗱𝗱𝗿𝗲𝘀𝘀
ಹಾರ್ನೆಸ್ ಎಂಜಿನಿಯರಿಂಗ್ (Harness engineering) ಎಂಬುದು ನಿಮ್ಮ ಸಾಫ್ಟ್ವೇರ್ ಸ್ಟ್ಯಾಕ್ನಲ್ಲಿರುವ ಒಂದು ಸ್ಥಳವಲ್ಲ. ಅದು ನಿಮ್ಮ ಕೋಡ್ನ ಒಂದು ಗುಣಲಕ್ಷಣ.
ಹಾರ್ನೆಸ್ ಎನ್ನುವುದು ಕೇವಲ ಒಂದು AI ಮಾಡೆಲ್ನ ಸುತ್ತಲಿನ ವ್ರ್ಯಾಪ್ಪರ್ (wrapper) ಎಂದು ಅನೇಕರು ಭಾವಿಸುತ್ತಾರೆ. ಇದು ತಪ್ಪು. ಹಾರ್ನೆಸ್ ಮಾಡೆಲ್ ಅನ್ನು ನೈಜ ವ್ಯವಹಾರಕ್ಕೆ ಉಪಯುಕ್ತವಾಗುವಂತೆ ಮಾಡುತ್ತದೆ.
ನಾನು ಒಂದು ಸರಳ ಸೂತ್ರವನ್ನು ಬಳಸುತ್ತೇನೆ: Agent = Model × Harness.
ಮಾಡೆಲ್ ಎಂಬುದು ಇಂಜಿನ್ ಇದ್ದಂತೆ. ಹಾರ್ನೆಸ್ ಎಂಬುದು ಸ್ಟೀರಿಂಗ್, ಬ್ರೇಕ್ಗಳು ಮತ್ತು ಸುರಕ್ಷತಾ ತಡೆಗೋಡೆಗಳಿದ್ದಂತೆ (safety rails).
ಆದರೆ ಇಲ್ಲಿ ಒಂದು ಸಮಸ್ಯೆಯಿದೆ. ಮಾಡೆಲ್ ನಿರಂತರವಾಗಿ ಬೆಳೆಯುತ್ತಿದೆ. ಪ್ರತಿಯೊಂದು ಹೊಸ ಮಾಡೆಲ್ ಆವೃತ್ತಿಯು ಹಾರ್ನೆಸ್ನ ಕೆಲವು ಭಾಗಗಳನ್ನು ತನ್ನೊಳಗೆ ಅಳವಡಿಸಿಕೊಳ್ಳುತ್ತಿದೆ.
- ರೀಸನಿಂಗ್ ಮಾಡೆಲ್ಗಳು (Reasoning models) ಈಗ chain-of-thought ತರ್ಕವನ್ನು ನಿರ್ವಹಿಸುತ್ತಿವೆ.
- ಉತ್ತಮ ಮಾಡೆಲ್ಗಳು ಟೂಲ್ ಬಳಕೆಯನ್ನು ನೈಸರ್ಗಿಕವಾಗಿ (natively) ನಿರ್ವಹಿಸುತ್ತವೆ.
- ದೀರ್ಘವಾದ ಕಾಂಟೆಕ್ಸ್ಟ್ ವಿಂಡೋಗಳು (Long context windows) ಹಳೆಯ ಮೆಮೊರಿ ಸಿಸ್ಟಮ್ಗಳನ್ನು ಬದಲಿಸುತ್ತಿವೆ.
ಮಾಡೆಲ್ ಹಾರ್ನೆಸ್ ಅನ್ನು ನುಂಗಿಬಿಟ್ಟರೆ, ನೀವು ನಿರ್ಮಿಸಲು ಏನು ಉಳಿಯುತ್ತದೆ?
ಕರಗುವ ಭಾಗಗಳು ಮೆಕ್ಯಾನಿಕ್ಸ್ (mechanics). ಲೂಪ್ಗಳು, ರಿಟ್ರೈಗಳು ಮತ್ತು ಮೆಮೊರಿ ಸ್ಟಿಚಿಂಗ್ (memory stitching) ಸಾಮಾನ್ಯ ವಸ್ತುಗಳಾಗುತ್ತವೆ (commodities). ಪ್ಲಂಬಿಂಗ್ (plumbing) ಕೆಲಸ ಮಾಡುವ ಮೇಲೆ ನಿಮ್ಮ ವೃತ್ತಿಯನ್ನು ಪಣಕ್ಕಿಡಬೇಡಿ.
ಉಳಿಯುವ ಭಾಗಗಳೆಂದರೆ ಸ್ಪೆಸಿಫಿಕೇಶನ್ (specification) ಮತ್ತು ವೆರಿಫಿಕೇಶನ್ (verification).
- ಸ್ಪೆಸಿಫಿಕೇಶನ್: ಏಜೆಂಟ್ಗೆ ಏನು ಮಾಡಲು ಅನುಮತಿ ಇದೆ ಎಂಬುದನ್ನು ನೀವು ವ್ಯಾಖ್ಯಾನಿಸಬೇಕು. ನಿಮ್ಮ ನಿರ್ದಿಷ್ಟ ರಿಫಂಡ್ ನೀತಿ ಅಥವಾ ನಿಮ್ಮ ರಿಸ್ಕ್ ಟಾಲರೆನ್ಸ್ (risk tolerance) ಬಗ್ಗೆ ಮಾಡೆಲ್ಗೆ ತಿಳಿಯಲು ಸಾಧ್ಯವಿಲ್ಲ. ಅದು ನಿಮ್ಮ ಕೋಡ್ನಲ್ಲಿರುತ್ತದೆ.
- ವೆರಿಫಿಕೇಶನ್: ಏಜೆಂಟ್ ನಿಮ್ಮ ನಿಯಮಗಳ ಮಿತಿಯಲ್ಲೇ ಉಳಿದಿದೆ ಎಂದು ನೀವು ಸಾಬೀತುಪಡಿಸಬೇಕು. ಮಾಡೆಲ್ ತನ್ನನ್ನು ತಾನು ವಿಶ್ವಾಸಾರ್ಹವಾಗಿ ನಿರ್ಣಯಿಸಿಕೊಳ್ಳಲು ಸಾಧ್ಯವಿಲ್ಲ. ಕೆಲಸವನ್ನು ಪರಿಶೀಲಿಸಲು ನಿಮಗೆ ಬಾಹ್ಯ ಪದರ (external layer) ಅಗತ್ಯವಿದೆ.
ಒಂದು ರಿಫಂಡ್ ಏಜೆಂಟ್ ಬಗ್ಗೆ ಯೋಚಿಸಿ.
ನೀವು ರಿಫಂಡ್ ಮಿತಿಯನ್ನು ಪ್ರಾಂಪ್ಟ್ನಲ್ಲಿ (prompt) ಹಾಕಿದರೆ, ಬಳಕೆದಾರರು ಮಾಡೆಲ್ ಅನ್ನು ವಂಚಿಸಬಹುದು. ನೀವು ಮಿತಿಯನ್ನು ನಿಮ್ಮ ಕೋಡ್ನಲ್ಲಿನ if-statement ನಲ್ಲಿ ಹಾಕಿದರೆ, ಮಾಡೆಲ್ ಅದನ್ನು ಪ್ರಶ್ನಿಸಲು ಸಾಧ್ಯವಿಲ್ಲ.
ಆ if-statementವೇ ಹಾರ್ನೆಸ್ ಎಂಜಿನಿಯರಿಂಗ್.
ಹಾರ್ನೆಸ್ ಎಂಜಿನಿಯರಿಂಗ್ ಎರಡು ವಿಷಯಗಳ ಬಗ್ಗೆ ಇರುತ್ತದೆ:
- ಅನುಮತಿಸಲಾದ ನಡವಳಿಕೆಯ ಮಿತಿಯನ್ನು (envelope of allowed behavior) ವ್ಯಾಖ್ಯಾನಿಸುವುದು.
- ಏಜೆಂಟ್ ಅದರ ಒಳಗೇ ಉಳಿದಿದೆ ಎಂದು ಸಾಬೀತುಪಡಿಸುವುದು.
ಮಾಡೆಲ್ ಎಂಬುದು ನೀವು ನಿಯಂತ್ರಿಸುತ್ತಿರುವ ಸಸ್ಯದಂತೆ. ಸ್ಪೆಸಿಫಿಕೇಶನ್ ಎಂಬುದು ನಿಮ್ಮ ಗುರಿ. ಹಾರ್ನೆಸ್ ಎಂಬುದು ಕಂಟ್ರೋಲರ್. ಇವ್ಯಾಲ್ಯೂಯೇಶನ್ಗಳು (evaluations) ಫೀಡ್ಬ್ಯಾಕ್.
ಪರಿಕರಗಳು ಮತ್ತು ಮೆಕ್ಯಾನಿಕ್ಸ್ ಪ್ರತಿ ತಿಂಗಳು ಬದಲಾಗುತ್ತವೆ. ಆದರೆ ಸ್ಪೆಸಿಫಿಕೇಶನ್ ಮತ್ತು ವೆರಿಫಿಕೇಶನ್ನ ಶಿಸ್ತು ಬದಲಾಗುವುದಿಲ್ಲ.
ಪ್ಲಂಬಿಂಗ್ ಕೆಲಸ ಮಾಡುವುದನ್ನು ನಿಲ್ಲಿಸಿ. ನಿರ್ಬಂಧಗಳು (constraints) ಮತ್ತು ಪುರಾವೆಗಳನ್ನು (proofs) ನಿರ್ಮಿಸಲು ಪ್ರಾರಂಭಿಸಿ.
Source: https://dev.to/saurav_bhattacharya/harness-engineering-has-no-fixed-address-2m7a
Optional learning community: https://t.me/GyaanSetuAi