Amazon Bedrock AgentCore Web Search: ಏಜೆಂಟ್‌ಗಳ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಕುಸಿಯುವಂತೆ ಮಾಡುವ 7 ತಪ್ಪುಗಳು

ನಿಮ್ಮ AI ಏಜೆಂಟ್ ಭ್ರಮೆಗೊಳಿಸುತ್ತಿಲ್ಲ (hallucinating). ಅದು ಹಳೆಯ ಸತ್ಯಗಳನ್ನು ಹೇಳುತ್ತಿದೆ ಅಷ್ಟೆ.

ಹೆಚ್ಚಿನ ತಂಡಗಳು ಡೆಮೋಗಳಲ್ಲಿ ಕೆಲಸ ಮಾಡುವ ಏಜೆಂಟ್‌ಗಳನ್ನು ನಿರ್ಮಿಸುತ್ತವೆ, ಆದರೆ ಅವು ಪ್ರೊಡಕ್ಷನ್‌ನಲ್ಲಿ ವಿಫಲವಾಗುತ್ತವೆ. ಅವು ಹಳೆಯ ತರಬೇತಿ ಡೇಟಾ ಅಥವಾ ಖಾಸಗಿ ಡೇಟಾವನ್ನು ಸೋರಿಕೆ ಮಾಡುವ ಮೂರನೇ ಪಾರ್ಟಿ ಸರ್ಚ್ API ಗಳ ಮೇಲೆ ಅವಲಂಬಿತವಾಗಿರುತ್ತವೆ.

Amazon Bedrock AgentCore Web Search, ವೆಬ್ ರಿಟ್ರಿೀವಲ್ ಅನ್ನು ನಿಮ್ಮ AWS ವ್ಯಾಪ್ತಿಯೊಳಗೆ ಇರಿಸುವ ಮೂಲಕ ಈ ಸಮಸ್ಯೆಯನ್ನು ಪರಿಹರಿಸುತ್ತದೆ. ಇದು ಕೇವಲ ಒಂದು ಸಾಧನವಲ್ಲ, ಬದಲಾಗಿ ಒಂದು ಮೂಲಸೌಕರ್ಯ (infrastructure).

ನಿಮ್ಮ ಏಜೆಂಟ್‌ಗಳನ್ನು ನಿಖರ ಮತ್ತು ಸುರಕ್ಷಿತವಾಗಿಡಲು ಈ 7 ನಿಯೋಜನಾ (deployment) ತಪ್ಪುಗಳನ್ನು ತಪ್ಪಿಸಿ:

    1. Vector Databases ಗಳನ್ನು ಬದಲಾಯಿಸುವುದು ವೆಬ್ ಸರ್ಚ್ ನಿಮ್ಮ ಖಾಸಗಿ ಡೇಟಾವನ್ನು ಹುಡುಕಲಾರದು. ಅದು ಕೇವಲ ಸಾರ್ವಜನಿಕ ಮಾಹಿತಿಯನ್ನು ಮಾತ್ರ ಹುಡುಕುತ್ತದೆ. ಆಂತರಿಕ ಜ್ಞಾನಕ್ಕಾಗಿ vector database ಬಳಸಿ ಮತ್ತು ನೈಜ-ಸಮಯದ (real-time) ಸುದ್ದಿಗಾಗಿ AgentCore ಬಳಸಿ.
    1. ಸ್ಥಿರ ಮೂಲ ಆಯ್ಕೆ (Static Source Selection) ಪ್ರತಿಯೊಂದು ಕ್ವೆರಿಗೂ ವೆಬ್ ಸರ್ಚ್ ಅನ್ನು ಆನ್ ಮಾಡಬೇಡಿ. ಇದು ಹಣವನ್ನು ವ್ಯರ್ಥ ಮಾಡುತ್ತದೆ ಮತ್ತು ವಿಳಂಬವನ್ನು (latency) ಹೆಚ್ಚಿಸುತ್ತದೆ. ಕ್ವೆರಿಗಳನ್ನು ವರ್ಗೀಕರಿಸಲು Claude Haiku ನಂತಹ ಲೈಟ್‌ವೇಟ್ ಕ್ಲಾಸಿಫೈಯರ್ ಬಳಸಿ. ನಿಮಗೆ ಹೊಸ ಡೇಟಾ ಬೇಕಾದಾಗ ಮಾತ್ರ ವೆಬ್ ಅನ್ನು ಬಳಸಿ.
    1. ಸಡಿಲವಾದ IAM ಅನುಮತಿಗಳು (Loose IAM Permissions) ಮ್ಯಾನೇಜ್ಡ್ ಎಂದರೆ ಸುರಕ್ಷಿತ ಎಂದರ್ಥವಲ್ಲ. ವೈಲ್ಡ್‌ಕಾರ್ಡ್ (wildcard) ಅನುಮತಿಗಳನ್ನು ಬಳಸಬೇಡಿ. ಅತಿಯಾದ ವೆಚ್ಚವನ್ನು ತಡೆಯಲು ನಿಮ್ಮ IAM ರೋಲ್‌ಗಳನ್ನು ನಿರ್ದಿಷ್ಟ ಏಜೆಂಟ್ ARNs ಗೆ ಸೀಮಿತಗೊಳಿಸಿ.
    1. ಮೂಲದ ಅಧಿಕಾರವನ್ನು (Source Authority) ನಿರ್ಲಕ್ಷಿಸುವುದು ವೆಬ್ ಸರ್ಚ್ ಅಧಿಕೃತ ದಾಖಲೆಗಳ ಬದಲಿಗೆ ಯಾವುದೋ ಒಂದು ಕಾಕತಾಳೀಯ ಬ್ಲಾಗ್ ಅನ್ನು ಹುಡುಕಬಹುದು. ಡೊಮೇನ್ ಅಲೌಟ್‌ಲಿಸ್ಟ್ (allowlist) ರಚಿಸಲು Bedrock Guardrails ಬಳಸಿ. ನಿಮ್ಮ ಏಜೆಂಟ್ ಉಲ್ಲೇಖಗಳನ್ನು (citations) ನೀಡುವಂತೆ ಮಾಡಿ.
    1. ಅನುಕ್ರಮ ರಿಟ್ರಿೀವಲ್ (Sequential Retrieval) ವೆಬ್ ಸರ್ಚ್ 800ms ನಿಂದ 1.4s ವರೆಗೆ ವಿಳಂಬವನ್ನು (latency) ಹೆಚ್ಚಿಸುತ್ತದೆ. ತರ್ಕಿಸುವ ಮೊದಲು (reasoning) ಸರ್ಚ್ ಮುಗಿಯುವವರೆಗೆ ನೀವು ಕಾಯುತ್ತಿದ್ದರೆ, ನಿಮ್ಮ ಏಜೆಂಟ್ ನಿಧಾನವಾಗಿ ಕೆಲಸ ಮಾಡುತ್ತದೆ. ಡೇಟಾವನ್ನು ಸಮಾಂತರವಾಗಿ (parallel) ಪಡೆಯಲು async ಪ್ಯಾಟರ್ನ್‌ಗಳನ್ನು ಬಳಸಿ.
    1. ಡ್ರಿಫ್ಟ್ (Drift) ಅನ್ನು ಮೇಲ್ವಿಚಾರಣೆ ಮಾಡಲು ವಿಫಲವಾಗುವುದು ಪ್ರಪಂಚ ಬದಲಾದಂತೆ ನಿಖರತೆ ಕಡಿಮೆಯಾಗುತ್ತದೆ. CloudWatch ನಲ್ಲಿ ನಿಮ್ಮ ರಿಟ್ರಿೀವಲ್ ಮೂಲಗಳು ಮತ್ತು ಉಲ್ಲೇಖ ಡೊಮೇನ್‌ಗಳನ್ನು ಟ್ರ್ಯಾಕ್ ಮಾಡಿ. ಗ್ರಾಹಕರಿಗೆ ತಿಳಿಯುವ ಮೊದಲೇ ಗುಣಮಟ್ಟದ ಕುಸಿತವನ್ನು ಪತ್ತೆಹಚ್ಚಲು ನಿಮ್ಮ ಮಾಡೆಲ್‌ಗಳನ್ನು ಮಾಸಿಕವಾಗಿ ಪರೀಕ್ಷಿಸಿ.
    1. ಮಿತಿಯಿಲ್ಲದ ಸರ್ಚ್ ಲೂಪ್‌ಗಳು (Unbounded Search Loops) ಮಲ್ಟಿ-ಏಜೆಂಟ್ ಲೂಪ್‌ಗಳು ಅಂತ್ಯವಿಲ್ಲದ ವೆಬ್ ಕಾಲ್‌ಗಳನ್ನು ಪ್ರಚೋದಿಸಬಹುದು. ಇದರಿಂದಾಗಿ ಒಂದು ಸ್ಟಾರ್ಟ್‌ಅಪ್ ಒಂದು ತಿಂಗಳಲ್ಲಿ $11,000 ಖರ್ಚು ಮಾಡಿದೆ. Lambda ಬಜೆಟ್ ಬಳಸಿ ಪ್ರತಿ ಸೆಷನ್‌ಗೆ ವೆಬ್ ಕಾಲ್‌ಗಳ ಮೇಲೆ ಕಟ್ಟುನಿಟ್ಟಾದ ಮಿತಿಯನ್ನು ನಿಗದಿಪಡಿಸಿ.

ಗುರಿ ಒಂದು ಹೈಬ್ರಿಡ್ ಸ್ಟ್ಯಾಕ್ (hybrid stack): • Intent Classifier • Internal Vector DB • AgentCore Web Search • Bedrock Guardrails • Drift Monitoring

ಕೇವಲ ಡೆಮೋಗಾಗಿ ಅಲ್ಲ, ಆರನೇ ತಿಂಗಳ ಬಳಕೆಗೆ ಅನುಗುಣವಾಗಿ ನಿರ್ಮಿಸಿ.

Source: https://dev.to/aarhamforensics_eb3c024eb/amazon-bedrock-agentcore-web-search-7-deployment-mistakes-that-break-production-agents-821

Optional learning community: https://t.me/GyaanSetuAi