ಏಜೆಂಟ್ ಆರ್ಕಿಟೆಕ್ಚರ್ ಎಂಬುದು ಕಂಪ್ಯೂಟ್ ಅಲೋಕೇಶನ್ ಸಮಸ್ಯೆ
ಇತ್ತೀಚೆಗೆ ಮೂರು ಸ್ವತಂತ್ರ ಗುಂಪುಗಳು AI ಏಜೆಂಟ್ ವಿನ್ಯಾಸಕ್ಕಾಗಿ ಒಂದೇ ತೀರ್ಮಾನಕ್ಕೆ ಬಂದಿವೆ.
Anthropic ಸಂಸ್ಥೆಯು ಅಡ್ವೈಸರ್ ಸ್ಟ್ರಾಟಜಿ (advisor strategy) ಬಗ್ಗೆ ಬ್ಲಾಗ್ ಪೋಸ್ಟ್ ಪ್ರಕಟಿಸಿದೆ. ಅವರು ಮುಖ್ಯ ಲೂಪ್ ಅನ್ನು ನಡೆಸಲು ಅಗ್ಗದ ಮಾಡೆಲ್ ಅನ್ನು ಬಳಸುತ್ತಾರೆ. ಅಗ್ಗದ ಮಾಡೆಲ್ ಸಿಲುಕಿಕೊಂಡಾಗ ಮಾತ್ರ ಅವರು ದುಬಾರಿ ಮಾಡೆಲ್ ಅನ್ನು ಬಳಸುತ್ತಾರೆ. BrowseComp ನಲ್ಲಿನ ಈ ವ್ಯವಸ್ಥೆಯು ಎಲ್ಲದಕ್ಕೂ ಟಾಪ್-ಟಿಯರ್ ಮಾಡೆಲ್ ಬಳಸುವ ವೆಚ್ಚದ ಕೇವಲ 15% ರಷ್ಟು ವೆಚ್ಚದಲ್ಲಿ 41.2% ನಿಖರತೆಯನ್ನು ತಲುಪಿದೆ.
Shopify ನ Tobi Lutke ಅವರು X ನಲ್ಲಿ ಇದೇ ರೀತಿಯ ವ್ಯವಸ್ಥೆಯನ್ನು ಹಂಚಿಕೊಂಡಿದ್ದಾರೆ. ಅವರು ಸಂಶೋಧನೆಗಾಗಿ ಲೋಕಲ್ ಮಾಡೆಲ್ ಅನ್ನು ರನ್ ಮಾಡುತ್ತಾರೆ ಮತ್ತು ಅಡ್ವೈಸರ್ ಆಗಿ ಫ್ರಾಂಟಿಯರ್ ಮಾಡೆಲ್ ಅನ್ನು ಬಳಸುತ್ತಾರೆ. ಡೆವಲಪರ್ಗಳು ಕೆಲವೇ ಗಂಟೆಗಳಲ್ಲಿ ಇದರ ಓಪನ್-ಸೋರ್ಸ್ ಆವೃತ್ತಿಗಳನ್ನು ನಿರ್ಮಿಸಿದರು.
HazyResearch ಸಂಸ್ಥೆಯು ಕಂಪ್ರೆಸರ್-ಪ್ರೆಡಿಕ್ಟರ್ ಫ್ರೇಮ್ವರ್ಕ್ (compressor-predictor framework) ಬಗ್ಗೆ ಸಂಶೋಧನಾ ಪ್ರಬಂಧವನ್ನು ಪ್ರಕಟಿಸಿದೆ. ಒಂದು ಸಣ್ಣ ಮಾಡೆಲ್ ದೊಡ್ಡ ಮಾಡೆಲ್ ತರ್ಕಿಸಲು ಬೇಕಾದ ಸಂದರ್ಭವನ್ನು (context) ಸಂಕ್ಷಿಪ್ತಗೊಳಿಸುತ್ತದೆ. ಅವರ ವ್ಯವಸ್ಥೆಯು ಕೇವಲ 26% ವೆಚ್ಚದಲ್ಲಿ 99% ನಿಖರತೆಯನ್ನು ಮರುಪಡೆಯಿತು.
ಈ ಏಕರೂಪತೆಯು ಕಾಕತಾಳೀಯವಲ್ಲ. ಇದು ಒಂದು ನಿರ್ದಿಷ್ಟ ವಿನ್ಯಾಸದ ನಿಯಮವನ್ನು ಅನುಸರಿಸುತ್ತದೆ: ಕಾಸ್ಟ್-ಕರ್ವ್ ಫ್ರೇಮ್ (cost-curve frame).
ನಾನು ಈ ಸರಣಿಯಲ್ಲಿ ಮೂರು ಪದರಗಳ ಮೂಲಕ ಈ ಫ್ರೇಮ್ ಅನ್ನು ವಿವರಿಸಿದ್ದೇನೆ:
- ಪದರ 1 (Retrieval): ಹೆಚ್ಚಿನ ಕೋಡ್ ಕಾರ್ಯಗಳಿಗಾಗಿ tool-loops ಏಕೆ RAG ಅನ್ನು ಸೋಲಿಸುತ್ತವೆ.
- ಪದರ 2 (Storage): ಸಿಂಬಲ್ ಗ್ರಾಫ್ಗಳಿಗಾಗಿ SQLite ಏಕೆ ವೆಕ್ಟರ್ ಡೇಟಾಬೇಸ್ಗಳಿಗಿಂತ ಉತ್ತಮವಾಗಿದೆ.
- ಪದರ 3 (Orchestration): ಮಾಡೆಲ್ ಆಯ್ಕೆಯಲ್ಲಿ ಅಡ್ವೈಸರ್ ಸ್ಟ್ರಾಟಜಿ ಏಕೆ ಗೆಲ್ಲುತ್ತದೆ.
ಇದರ ತರ್ಕವು ಒಂದೇ ಆಗಿದೆ. ಹೆಚ್ಚಿನ ಏಜೆಂಟ್ ಕಾರ್ಯಗಳು ಅನೇಕ ಕಡಿಮೆ ಮೌಲ್ಯದ ಕಾರ್ಯಾಚರಣೆಗಳು ಮತ್ತು ಕೆಲವು ಹೆಚ್ಚಿನ ಮೌಲ್ಯದ ನಿರ್ಧಾರಗಳನ್ನು ಒಳಗೊಂಡಿರುತ್ತವೆ.
ನೀವು ಪ್ರತಿಯೊಂದು ಟೋಕನ್ಗಾಗಿ ದುಬಾರಿ ಮಾಡೆಲ್ ಬಳಸಿದರೆ, ಸಂದರ್ಭವನ್ನು ಓದುವುದು ಅಥವಾ ಪಠ್ಯವನ್ನು ಫಾರ್ಮ್ಯಾಟ್ ಮಾಡುವಂತಹ ದಿನನಿತ್ಯದ ಕೆಲಸಗಳಿಗಾಗಿ ಹಣವನ್ನು ವ್ಯರ್ಥ ಮಾಡುತ್ತೀರಿ. ಅಡ್ವೈಸರ್ ಸ್ಟ್ರಾಟಜಿಯು ಈ ಹಾದಿಗಳನ್ನು ಪ್ರತ್ಯೇಕಿಸುತ್ತದೆ. ನೀವು ಹೆಚ್ಚಿನ ಕೆಲಸಕ್ಕಾಗಿ ಅಗ್ಗದ ಎಕ್ಸಿಕ್ಯೂಟರ್ ಅನ್ನು ಮತ್ತು ಕೇವಲ ನಿರ್ಣಾಯಕ ನಿರ್ಧಾರದ ಸಂದರ್ಭಗಳಲ್ಲಿ ಮಾತ್ರ ದುಬಾರಿ ಅಡ್ವೈಸರ್ ಅನ್ನು ಬಳಸುತ್ತೀರಿ.
ನೀವು ಏಜೆಂಟ್ಗಳನ್ನು ನಿರ್ಮಿಸುತ್ತಿದ್ದರೆ, ಈ ಮೂರು ಎಂಜಿನಿಯರಿಂಗ್ ಸವಾಲುಗಳ ಬಗ್ಗೆ ಎಚ್ಚರವಿರಲಿ:
- ಡೇಟಾ ಎಗ್ರೆಸ್ (Data Egress): ರಿಮೋಟ್ ಅಡ್ವೈಸರ್ಗೆ ಸಂದರ್ಭವನ್ನು ಕಳುಹಿಸುವುದು ಸೂಕ್ಷ್ಮ ಡೇಟಾವನ್ನು ಸೋರಿಕೆ ಮಾಡಬಹುದು. ರೆಡಾಕ್ಷನ್ ಲೇಯರ್ (redaction layer) ಬಳಸಿ.
- ಎಸ್ಕಲೇಷನ್ ಪಾಲಿಸಿ (Escalation Policy): ಅಡ್ವೈಸರ್ ಅನ್ನು ಯಾವಾಗ ಕರೆಯಬೇಕು ಎಂದು ನಿರ್ಧರಿಸುವುದು ಕಷ್ಟ. ತುಂಬಾ ಬೇಗ ಕರೆದರೆ ಹಣ ವ್ಯರ್ಥವಾಗುತ್ತದೆ. ತುಂಬಾ ತಡವಾದರೆ ಸಮಯ ವ್ಯರ್ಥವಾಗುತ್ತದೆ.
- ಹ್ಯಾಂಡ್ಆಫ್ ಡಿಸೈನ್ (Handoff Design): ಅಡ್ವೈಸರ್ ಸಂಪೂರ್ಣ ಪರಿಹಾರವನ್ನು ನೀಡಬಾರದು, ಬದಲಾಗಿ ಒಂದು ಸಂಕ್ಷಿಪ್ತ ಯೋಜನೆಯನ್ನು ನೀಡಬೇಕು.
ಈ ಮಾದರಿಯು ನೈಜವಾಗಿದೆ ಏಕೆಂದರೆ ಇದು ದಕ್ಷವಾಗಿದೆ. ಅಗತ್ಯವಿಲ್ಲದ ಟೋಕನ್ಗಳಿಗಾಗಿ ಫ್ರಾಂಟಿಯರ್-ಮಾಡೆಲ್ ದರಗಳನ್ನು ಪಾವತಿಸುವುದನ್ನು ನಿಲ್ಲಿಸಿ.
ಐಚ್ಛಿಕ ಕಲಿಕಾ ಸಮುದಾಯ: https://t.me/GyaanSetuAi