Automatic Prompt Engineer (APE) ಒಂದು ಭಾಷಾ ಮಾದರಿಯು (language model) ಒಂದು ನಿರ್ದಿಷ್ಟ ಕಾರ್ಯಕ್ಕಾಗಿ ಅತ್ಯುತ್ತಮ ಪ್ರಾಂಪ್ಟ್ ಅನ್ನು ಬರೆಯಲು, ಪರೀಕ್ಷಿಸಲು ಮತ್ತು ಆಯ್ಕೆ ಮಾಡಲು ಅನುವು ಮಾಡಿಕೊಡುತ್ತದೆ, ಇದು ಹಿಂದೆ ಕೇವಲ ಪ್ರಯತ್ನ ಮತ್ತು ತಪ್ಪುಗಳ (trial-and-error) ಕಲೆಯಾಗಿದ್ದ ಪ್ರಕ್ರಿಯೆಯನ್ನು ಪುನರಾವರ್ತಿತವಾದ ದತ್ತಾಂಶ-ಚಾಲಿತ ಹುಡುಕಾಟವಾಗಿ ಪರಿವರ್ತಿಸುತ್ತದೆ.
ಪ್ರಾಂಪ್ಟ್ ಬರೆಯುವುದು ಏಕೆ ಅಡಚಣೆಯಾಗಿ ಪರಿಣಮಿಸಿದೆ
ಪ್ರಾಂಪ್ಟ್ ಇಂಜಿನಿಯರಿಂಗ್—ಅಂದರೆ ಒಂದು ಮಾದರಿಗೆ ಏನು ಮಾಡಬೇಕೆಂದು ತಿಳಿಸುವ ನಿಖರವಾದ ಪದಗಳನ್ನು ರೂಪಿಸುವುದು—ಬಹಳ ಕಾಲದಿಂದ ಅಂತಃಪ್ರಜ್ಞೆ ಮತ್ತು ಅದೃಷ್ಟದ ಮಿಶ್ರಣವಾಗಿತ್ತು. ಅಭ್ಯಾಸಕಾರರು ಇಲ್ಲಿ ಒಂದು ಪದವನ್ನು ಬದಲಾಯಿಸುತ್ತಾರೆ, ಅಲ್ಲಿ ಒಂದು ಪದಪುಂಜವನ್ನು (phrase) ಬದಲಾಯಿಸುತ್ತಾರೆ, ಮಾದರಿಯನ್ನು ರನ್ ಮಾಡುತ್ತಾರೆ ಮತ್ತು ಔಟ್ಪುಟ್ "ಸರಿಯಾಗಿ ಅನಿಸಿದರೆ" ಅಲ್ಲಿಗೆ ನಿಲ್ಲಿಸುತ್ತಾರೆ. ಈ ವಿಧಾನವು ದೀರ್ಘಕಾಲದವರೆಗೆ kéoಳುತ್ತದೆ, ಇಂಜಿನಿಯರ್ನ ಕಲ್ಪನೆಯ ಮೇಲೆ ಅವಲಂಬಿತವಾಗಿರುತ್ತದೆ ಮತ್ತು ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಸೀಮಿತಗೊಳಿಸುತ್ತದೆ. ಉತ್ಪಾದನಾ ಹಂತದಲ್ಲಿ (production), ಇದರರ್ಥ ದೀರ್ಘ ಚಕ್ರಗಳು, ಅಸ್ಥಿರ ಫಲಿತಾಂಶಗಳು ಮತ್ತು ಬಿಡುಗಡೆಯ ನಂತರವೇ ಹೊರಬರುವ ಗುಪ್ತ ವೆಚ್ಚಗಳು.
APE ನ ಮೂರು ಹಂತದ ಕಾರ್ಯವಿಧಾನ (workflow)
APE ಪ್ರಾಂಪ್ಟ್ ರಚನೆಯನ್ನು ಒಂದು ಹುಡುಕಾಟದ ಸಮಸ್ಯೆಯಾಗಿ (search problem) ಪರಿಗಣಿಸುತ್ತದೆ. ಬಳಕೆದಾರರು ಕೆಲವು ಇನ್ಪುಟ್-ಔಟ್ಪುಟ್ ಉದಾಹರಣೆಗಳನ್ನು ನೀಡುತ್ತಾರೆ. ನಂತರ ಸಿಸ್ಟಮ್ ಮೂರು ಸ್ವಯಂಚಾಲಿತ ಹಂತಗಳನ್ನು ನಡೆಸುತ್ತದೆ:
- Propose (ಪ್ರಸ್ತಾವಿಸು) – ಮಾದರಿಯು ಉದಾಹರಣೆಗಳನ್ನು ಸ್ಕ್ಯಾನ್ ಮಾಡುತ್ತದೆ ಮತ್ತು "ವಿರುದ್ಧವನ್ನು ನೀಡಿ" ಅಥವಾ "ವಿರುದ್ಧ ಪದವನ್ನು ಬರೆಯಿರಿ" ಎಂಬಂತಹ ಅಭ್ಯರ್ಥಿ ಸೂಚನೆಗಳ ಗುಂಪನ್ನು ನೀಡುತ್ತದೆ.
- Score (ಅಂಕ ನೀಡು) – ಸಿಸ್ಟಮ್ ಪ್ರತಿಯೊಂದು ಅಭ್ಯರ್ಥಿ ಸೂಚನೆಯನ್ನು ನೋಡಿರದ (unseen) ಉದಾಹರಣೆಗಳ ಗುಂಪಿನ ಮೇಲೆ ರನ್ ಮಾಡುತ್ತದೆ ಮತ್ತು ಎಷ್ಟು ಉತ್ತರಗಳು ನಿರೀಕ್ಷಿತ ಔಟ್ಪುಟ್ಗೆ ಹೊಂದಿಕೆಯಾಗುತ್ತವೆ ಎಂಬುದನ್ನು ಎಣಿಸುತ್ತದೆ, ಇದರಿಂದ ನಿಖರತೆಯ (accuracy) ಸಂಖ್ಯೆ ಸಿಗುತ್ತದೆ. ಈ ಹಂತದಲ್ಲಿ ಯಾವುದೇ ಮಾನವ ನಿರ್ಧಾರ ಇರುವುದಿಲ್ಲ.
- Select (ಆಯ್ಕೆ ಮಾಡು) – ಅತಿ ಹೆಚ್ಚು ನಿಖರತೆಯನ್ನು ಹೊಂದಿರುವ ಸೂಚನೆಯು ಅಂತಿಮ ಪ್ರಾಂಪ್ಟ್ ಆಗುತ್ತದೆ.
ಈ ಪ್ರಕ್ರಿಯೆಯನ್ನು ಪುನರಾವರ್ತಿಸಬಹುದು. ಗೆದ್ದ ಪ್ರಾಂಪ್ಟ್ ಹೊಸ ಬೀಜವಾಗಿ (seed) ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ ಮತ್ತು ಮಾದರಿಯು ವಿವಿಧ ರೂಪಾಂತರಗಳನ್ನು ಸೂಚಿಸುತ್ತದೆ. ವರದಿಯಾದ ಪ್ರಯೋಗಗಳಲ್ಲಿ, 83% ಅಂಕ ಪಡೆದ ಸಾಮಾನ್ಯ ಸೂಚನೆಯನ್ನು ಪರೀಕ್ಷಾ ಸೆಟ್ನಲ್ಲಿ 100% ಅಂಕ ಪಡೆಯುವಂತಹ ಆವೃತ್ತಿಯಾಗಿ ಪರಿಷ್ಕರಿಸಲಾಗಿತ್ತು.
ಮಾನವ ಪ್ರಯತ್ನಕ್ಕಿಂತ ಈ ವಿಧಾನ ಏಕೆ ಹೆಚ್ಚು ಶಕ್ತಿಯುತವಾಗಿದೆ
- ವ್ಯಾಪ್ತಿ (Coverage) – ಒಂದು LLM ಸೆಕೆಂಡುಗಳಲ್ಲಿ ಡಜನ್ಗಟ್ಟಲೆ ಪದಬಳಕೆಯ ಪರ್ಯಾಯಗಳನ್ನು ಸೃಷ್ಟಿಸುತ್ತದೆ, ಇದು ಒಬ್ಬ ವ್ಯಕ್ತಿಯು ಪರೀಕ್ಷಿಸಬಹುದಕ್ಕಿಂತ ಬಹಳ ಹೆಚ್ಚು.
- ವಸ್ತುನಿಷ್ಠತೆ (Objectivity) – ಆಯ್ಕೆಯು ಅಳೆಯಬಹುದಾದ ನಿಖರತೆಯ ಮೇಲೆ ಅವಲಂಬಿತವಾಗಿರುತ್ತದೆ, ಪದಗಳು ಎಷ್ಟು ಸುಂದರವಾಗಿ ಕೇಳಿಸುತ್ತವೆ ಎಂಬುದರ ಮೇಲಲ್ಲ. ಪಠ್ಯಪುಸ್ತಕದ ಶೈಲಿಯ ಸೂಚನೆಗಿಂತ, ಮಾದರಿಗೆ ಉತ್ತಮವಾಗಿ ಅರ್ಥವಾಗುವ ಸಂಕ್ಷಿಪ್ತ ಮತ್ತು ವಿಚಿತ್ರವಾಗಿ ಕೇಳಿಸುವ ಆವೃತ್ತಿಯು ಗೆಲ್ಲಬಹುದು.
ಸ್ಕೋರಿಂಗ್ ಮೆಟ್ರಿಕ್ ಬಳಕೆದಾರರಿಂದ ಬರುವುದರಿಂದ—ಸಾಮಾನ್ಯವಾಗಿ ನಿಖರವಾದ ಹೊಂದಾಣಿಕೆ (exact-match) ಪರಿಶೀಲನೆ ಅಥವಾ ಯೂನಿಟ್ ಟೆಸ್ಟ್—ಕೋಡ್ ಜನರೇಷನ್ನಿಂದ ಸೆಂಟಿಮೆಂಟ್ ಅನಾಲಿಸಿಸ್ವರೆಗೆ ಯಾವುದೇ ಅಗತ್ಯಕ್ಕೆ ತಕ್ಕಂತೆ ಸಿಸ್ಟಮ್ ಅನ್ನು ಹೊಂದಿಸಬಹುದು.
ಸ್ವಯಂಚಾಲಿತಗೊಳಿಸುವಿಕೆಯ ಬೆಲೆ
ಇಲ್ಲಿನ ವಹಿವಾಟು (trade-off) ಕಂಪ್ಯೂಟ್ (compute) ಶಕ್ತಿಯಾಗಿದೆ. ಪ್ರತಿಯೊಂದು ಅಭ್ಯರ್ಥಿಯನ್ನು ಸ್ಕೋರ್ ಮಾಡಲು ಅನೇಕ ಮಾದರಿ ಕರೆಗಳು (model calls) ಬೇಕಾಗುತ್ತವೆ, ಆದ್ದರಿಂದ ಅಭಿವೃದ್ಧಿ ಹಂತದಲ್ಲಿ ಗಮನಾರ್ಹ ಪ್ರಮಾಣದ API ಬಳಕೆಯಾಗುತ್ತದೆ. APE ಆ ವೆಚ್ಚವನ್ನು ಏಕಕಾಲದ ಹೂಡಿಕೆಯಾಗಿ ಪರಿಗಣಿಸುತ್ತದೆ: ಒಮ್ಮೆ ಅತ್ಯುತ್ತಮ ಪ್ರಾಂಪ್ಟ್ ಅನ್ನು ಗುರುತಿಸಿದ ನಂತರ, ನೀವು ಯಾವುದೇ ಹೆಚ್ಚುವರಿ ವೆಚ್ಚವಿಲ್ಲದೆ ಅದನ್ನು ಎಂದೆಂದಿಗೂ ಮರುಬಳಕೆ ಮಾಡಬಹುದು.
ಎರಡು ಪೂರ್ವಭಾವಿ ಅಗತ್ಯತೆಗಳು ಸಹ ಇದರ ಬಳಕೆಯನ್ನು ಸೀಮಿತಗೊಳಿಸುತ್ತವೆ:
- ಲೇಬಲ್ ಮಾಡಿದ ಉದಾಹರಣೆಗಳು (Labeled examples) – ಸಿಸ್ಟಮ್ಗೆ ಪ್ರತಿನಿಧಿಸುವ ಇನ್ಪುಟ್ಗಳು ಮತ್ತು ಸರಿಯಾದ ಔಟ್ಪುಟ್ಗಳ ಗುರಿ ಅಗತ್ಯವಿದೆ.
- ಸ್ಕೋರಿಂಗ್ ಫಂಕ್ಷನ್ (Scoring function) – ಬಳಕೆದಾರರು ತಮ್ಮ ಕಾರ್ಯಕ್ಕಾಗಿ "ಸರಿಯಾದದ್ದು" ಎಂದರೆ ಏನು ಎಂಬುದನ್ನು ವ್ಯಾಖ್ಯಾನಿಸಬೇಕು, ಅದು ನಿಖರವಾದ ಸ್ಟ್ರಿಂಗ್ ಮ್ಯಾಚ್ ಆಗಿರಲಿ, ಸಂಖ್ಯೆಯ ಟಾಲರೆನ್ಸ್ ಆಗಿರಲಿ ಅಥವಾ ಕಸ್ಟಮ್ ವ್ಯಾಲಿಡೇಟರ್ ಆಗಿರಲಿ.
ಈ ಪರಿಕಲ್ಪನೆಯಲ್ಲಿ ಎಲ್ಲಿ ತೊಂದರೆಯಾಗಬಹುದು
ಆರಂಭಿಕ ಉದಾಹರಣೆಗಳ ಗುಂಪು ತುಂಬಾ ಚಿಕ್ಕದಾಗಿದ್ದರೆ ಅಥವಾ ಸರಿಯಾದ ಪ್ರತಿನಿಧಿಸುವಂತಿಲ್ಲದಿದ್ದರೆ, ಆಯ್ಕೆಯಾದ ಪ್ರಾಂಪ್ಟ್ 'ಓವರ್ಫಿಟ್' (overfit) ಆಗಬಹುದು ಮತ್ತು ನೈಜ ಪ್ರಪಂಚದ ಬಳಕೆಯಲ್ಲಿ ವಿಫಲವಾಗಬಹುದು.
ಮುಂದೆ ಏನನ್ನು ಗಮನಿಸಬೇಕು
ಈ ಸಾಧನವು ಒಂದು ಪರ್ಯಾಯವನ್ನು ನೀಡುತ್ತದೆ: ಕೆಲವು ಉದಾಹರಣೆಗಳನ್ನು ನೀಡಿ, ಮಾದರಿಯನ್ನು ಪುನರಾವರ್ತಿಸಲು ಬಿಡಿ ಮತ್ತು ಸಿಸ್ಟಮ್ ತನ್ನ ಪ್ರಯತ್ನಗಳಲ್ಲಿ ಅತ್ಯಂತ ಹೆಚ್ಚಿನ ಶ್ರೇಣಿಯನ್ನು ನೀಡುವ ಪ್ರಾಂಪ್ಟ್ ಅನ್ನು ಪಡೆಯಿರಿ. ಮೂಲ ಪ್ರಕಟಣೆಯಲ್ಲಿರುವ ಲಿಂಕ್ನಲ್ಲಿ ಡೆಮೊ ಲಭ್ಯವಿದೆ ಮತ್ತು ಟೆಲಿಗ್ರಾಮ್ನಲ್ಲಿ ಕಲಿಕಾ ಸಮುದಾಯವು ಸೇರಿದೆ.
ಸಾರಾಂಶ (Takeaway): ಪ್ರಾಂಪ್ಟ್ ಇಂಜಿನಿಯರಿಂಗ್ ಅನ್ನು ಸ್ವಯಂಚಾಲಿತಗೊಳಿಸುವುದು ಊಹಾಪೋಹಗಳ ಬದಲಿಗೆ ಅಳೆಯಬಹುದಾದ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ನೀಡುತ್ತದೆ, ಆದರೆ ಇದಕ್ಕೆ ಮುಂಚಿತವಾಗಿ ದತ್ತಾಂಶ, ಕಂಪ್ಯೂಟ್ ಮತ್ತು ಯಶಸ್ಸಿನ ಸ್ಪಷ್ಟ ವ್ಯಾಖ್ಯಾನದ ಅಗತ್ಯವಿದೆ.