𝗔𝗺𝗮𝘇𝗼𝗻 𝗕𝗲𝗱𝗿𝗼𝗰𝗸 𝗔𝗴𝗲𝗻𝘁𝗖𝗼𝗿𝗲 𝗪𝗲𝗯 𝗦𝗲𝗮𝗿𝗰𝗵: 𝗧𝗵𝗲 𝗣𝗿𝗼𝗱𝘂𝗰𝘁𝗶𝗼𝗻 𝗕𝘂𝗶𝗹𝗱 𝗚𝘂𝗶𝗱𝗲
ನಿಮ್ಮ AI ಏಜೆಂಟ್ ಬಹುಶಃ ನಿಮ್ಮ ಬಳಕೆದಾರರಿಗೆ ಸುಳ್ಳು ಹೇಳುತ್ತಿರಬಹುದು.
ನೀವು ಅದನ್ನು ಬಿಡುಗಡೆ ಮಾಡಿದ ಕ್ಷಣವೇ ಅದರ ಜ್ಞಾನವು ಹಳೆಯದಾಗುವುದರಿಂದ ಹೀಗಾಗುತ್ತದೆ. ಸ್ಟ್ಯಾಟಿಕ್ (Static) RAG ಪೈಪ್ಲೈನ್ಗಳು ಬೇಗನೆ ಕ್ಷೀಣಿಸುತ್ತವೆ. ಉದ್ಯಮಗಳು (Enterprises) ನಿಯೋಜನೆಯಾದ 90 ದಿನಗಳ ಒಳಗೆ ನಿಖರತೆಯಲ್ಲಿ 23% ಕುಸಿತವನ್ನು ಕಾಣುತ್ತವೆ.
Amazon Bedrock AgentCore web search ಇದನ್ನು ಪರಿಹರಿಸುತ್ತದೆ. ಇದು ಇನ್ಫರೆನ್ಸ್ ಸಮಯದಲ್ಲಿ (inference time) ಲೈವ್ URL ಗಳನ್ನು ಪ್ರಶ್ನಿಸಲು ಏಜೆಂಟ್ಗಳಿಗೆ ಅನುಮತಿಸುತ್ತದೆ. ನಿಮಗೆ Lambda ಫಂಕ್ಷನ್ಗಳು ಅಥವಾ Tavily ಅಥವಾ SerpAPI ನಂತಹ ಥರ್ಡ್-ಪಾರ್ಟಿ API ಕೀಗಳು ಬೇಕಾಗಿಲ್ಲ.
ಪ್ರೊಡಕ್ಷನ್ಗಾಗಿ ನೀವು ತಿಳಿಯಬೇಕಾದ ವಿಷಯಗಳು:
- Architecture: ಟೂಲ್ ಅನ್ನು ಯಾವಾಗ ಬಳಸಬೇಕೆಂದು ಮಾಡೆಲ್ ನಿರ್ಧರಿಸುತ್ತದೆ. ಇದು ಲೈವ್ ಪಠ್ಯದ ಸಾರಾಂಶಗಳನ್ನು (text excerpts) ಪಡೆದು ಅವುಗಳನ್ನು ರೀಸನಿಂಗ್ ಲೂಪ್ಗೆ (reasoning loop) ಹಿಂತಿರುಗಿಸುತ್ತದೆ.
- Security: ನಿಮ್ಮ ಸರ್ಚ್ ಅನ್ನು ಮಿತಿಗೊಳಿಸಲು (scope) IAM ಬಳಸಿ. ಏಜೆಂಟ್ಗಳು ವಿಶ್ವಾಸಾರ್ಹವಲ್ಲದ ಮೂಲಗಳನ್ನು ಪ್ರವೇಶಿಸದಂತೆ ತಡೆಯಲು ನೀವು ನಂಬಿಕಸ್ತ ಡೊಮೇನ್ಗಳ 'ಅಲೌಲಿಸ್ಟ್' (allowlist) ಅನ್ನು ರಚಿಸಬಹುದು.
- Performance: 1.2 ರಿಂದ 2.8 ಸೆಕೆಂಡುಗಳ ರೌಂಡ್-ಟ್ರಿಪ್ ಲೇಟೆನ್ಸಿಯನ್ನು (latency) ನಿರೀಕ್ಷಿಸಿ. ಇದನ್ನು ಸತ್ಯಾಂಶಗಳಿಗಾಗಿ ಬಳಸಿ, ಸೆಕೆಂಡಿಗಿಂತ ಕಡಿಮೆ ಸಮಯದಲ್ಲಿ ನಡೆಯುವ ಚಾಟ್ಗಳಿಗಾಗಿ ಅಲ್ಲ.
- Cost Strategy: ಮೊದಲು ಕ್ವೆರಿಗಳನ್ನು ವರ್ಗೀಕರಿಸಲು Claude Haiku ಬಳಸಿ. ಒಂದು ಕ್ವೆರಿಗೆ ಲೈವ್ ಡೇಟಾ ಬೇಕಾದಲ್ಲಿ, ಅದನ್ನು Claude 3.5 Sonnet ಗೆ ಕಳುಹಿಸಿ. ಇದು ಪ್ರತಿ ಸೆಷನ್ ವೆಚ್ಚವನ್ನು 35% ರಿಂದ 45% ರಷ್ಟು ಕಡಿಮೆ ಮಾಡುತ್ತದೆ.
'Knowledge Decay Cliff' ಎಂಬುದು ವಾಸ್ತವವಾಗಿದೆ. ಹಣಕಾಸು ಅಥವಾ ಕಾನೂನು ವಲಯದಂತಹ ವೇಗವಾಗಿ ಬದಲಾಗುವ ಕ್ಷೇತ್ರಗಳಲ್ಲಿ, ಸ್ಟ್ಯಾಟಿಕ್ ಡೇಟಾವನ್ನು ಬಳಸಿದ 60 ದಿನಗಳ ನಂತರ ನಿಖರತೆ ಕುಸಿಯುತ್ತದೆ.
ನಿಮ್ಮ ವೆಕ್ಟರ್ ಡೇಟಾಬೇಸ್ ಅನ್ನು ಸಂಪೂರ್ಣವಾಗಿ ಬದಲಾಯಿಸಬೇಡಿ. ಹೈಬ್ರಿಡ್ ವಿಧಾನವನ್ನು ಬಳಸಿ: • ನಿಮ್ಮ ಖಾಸಗಿ, ಆಂತರಿಕ ಜ್ಞಾನಕ್ಕಾಗಿ vector RAG ಬಳಸಿ. • ಬಾಹ್ಯ, ರಿಯಲ್-ಟೈಮ್ ತಾಜಾತನ್ಗಾಗಿ AgentCore web search ಬಳಸಿ.
ಈ ಸೆಟಪ್ ಸಿಂಗಲ್-ಟರ್ನ್ ಪ್ರಶ್ನೋತ್ತರಗಳಿಗೆ (single-turn question answering) ಪ್ರೊಡಕ್ಷನ್-ರೆಡಿ ಆಗಿದೆ. ನಿಮಗೆ ಸಂಕೀರ್ಣವಾದ ಮಲ್ಟಿ-ಹೋಪ್ ಸಂಶೋಧನೆಯ ಅಗತ್ಯವಿದ್ದರೆ, ಅದನ್ನು ಪ್ರಾಯೋಗಿಕವಾಗಿ ಪರಿಗಣಿಸಿ.
ಹಳೆಯ ಡೇಟಾದ ಮೇಲೆ ಏಜೆಂಟ್ಗಳನ್ನು ನಿರ್ಮಿಸುವುದನ್ನು ನಿಲ್ಲಿಸಿ. ನೈಜ ಪ್ರಪಂಚಕ್ಕಾಗಿ ನಿರ್ಮಿಸಿ.
ಐಚ್ಛಿಕ ಕಲಿಕಾ ಸಮುದಾಯ: https://t.me/GyaanSetuAi