𝗔𝗺𝗮𝘇𝗼𝗻 𝗕𝗲𝗱𝗿𝗼𝗰𝗸 𝗔𝗴𝗲𝗻𝘁𝗖𝗼𝗿𝗲 𝗪𝗲𝗯 𝗦𝗲𝗮𝗿𝗰𝗵: 𝟳 𝗠𝗶𝘀𝘁𝗮𝗸𝗲𝘀 𝗧𝗵𝗮𝘁 𝗕𝗿𝗲𝗮𝗸 𝗔𝗴𝗲𝗻𝘁𝘀

ਤੁਹਾਡਾ AI agent hallucinating ਨਹੀਂ ਕਰ ਰਿਹਾ। ਇਹ ਪੁਰਾਣੇ ਤੱਥ ਦੱਸ ਰਿਹਾ ਹੈ।

ਜ਼ਿਆਦਾਤਰ ਟੀਮਾਂ ਅਜਿਹੇ agents ਬਣਾਉਂਦੀਆਂ ਹਨ ਜੋ ਡੈਮੋ ਵਿੱਚ ਤਾਂ ਕੰਮ ਕਰਦੇ ਹਨ ਪਰ production ਵਿੱਚ ਫੇਲ ਹੋ ਜਾਂਦੇ ਹਨ। ਉਹ ਪੁਰਾਣੇ training data ਜਾਂ third-party search APIs 'ਤੇ ਨਿਰਭਰ ਕਰਦੇ ਹਨ ਜੋ ਨਿੱਜੀ ਡੇਟਾ ਲੀਕ ਕਰ ਸਕਦੇ ਹਨ।

Amazon Bedrock AgentCore Web Search web retrieval ਨੂੰ ਤੁਹਾਡੀ AWS boundary ਦੇ ਅੰਦਰ ਰੱਖ ਕੇ ਇਸ ਸਮੱਸਿਆ ਨੂੰ ਹੱਲ ਕਰਦਾ ਹੈ। ਇਹ ਸਿਰਫ਼ ਇੱਕ ਟੂਲ ਨਹੀਂ, ਸਗੋਂ ਇੱਕ infrastructure ਹੈ।

ਆਪਣੇ agents ਨੂੰ ਸਹੀ ਅਤੇ ਸੁਰੱਖਿਅਤ ਰੱਖਣ ਲਈ ਇਹਨਾਂ 7 deployment ਗਲਤੀਆਂ ਤੋਂ ਬਚੋ:

    1. Replacing Vector Databases Web search ਤੁਹਾਡਾ ਨਿੱਜੀ ਡੇਟਾ ਨਹੀਂ ਲੱਭ ਸਕਦੀ। ਇਹ ਸਿਰਫ਼ ਜਨਤਕ ਜਾਣਕਾਰੀ ਲੱਭਦੀ ਹੈ। ਅੰਦਰੂਨੀ ਗਿਆਨ (internal knowledge) ਲਈ vector database ਦੀ ਵਰਤੋਂ ਕਰੋ ਅਤੇ real-time ਖ਼ਬਰਾਂ ਲਈ AgentCore ਦੀ ਵਰਤੋਂ ਕਰੋ।
    1. Static Source Selection ਹਰ query ਲਈ web search ਨੂੰ ਚਾਲੂ ਨਾ ਕਰੋ। ਇਸ ਨਾਲ ਪੈਸੇ ਦੀ ਬਰਬਾਦੀ ਹੁੰਦੀ ਹੈ ਅਤੇ latency ਵਧਦੀ ਹੈ। Queries ਨੂੰ route ਕਰਨ ਲਈ Claude Haiku ਵਰਗੇ lightweight classifier ਦੀ ਵਰਤੋਂ ਕਰੋ। Web ਦੀ ਵਰਤੋਂ ਉਦੋਂ ਹੀ ਕਰੋ ਜਦੋਂ ਤੁਹਾਨੂੰ ਤਾਜ਼ਾ ਡੇਟਾ ਦੀ ਲੋੜ ਹੋਵੇ।
    1. Loose IAM Permissions Managed ਹੋਣ ਦਾ ਮਤਲਬ ਸੁਰੱਖਿਅਤ ਹੋਣਾ ਨਹੀਂ ਹੈ। Wildcard permissions ਦੀ ਵਰਤੋਂ ਨਾ ਕਰੋ। ਵਧਦੇ ਖਰਚਿਆਂ ਨੂੰ ਰੋਕਣ ਲਈ ਆਪਣੇ IAM roles ਨੂੰ ਖਾਸ agent ARNs ਤੱਕ ਸੀਮਤ (scope) ਰੱਖੋ।
    1. Ignoring Source Authority Web search ਕਿਸੇ ਅਧਿਕਾਰਤ ਦਸਤਾਵੇਜ਼ ਦੀ ਬਜਾਏ ਕੋਈ ਵੀ ਰੈਂਡਮ ਬਲੌਗ ਲੱਭ ਸਕਦੀ ਹੈ। Domain allowlist ਬਣਾਉਣ ਲਈ Bedrock Guardrails ਦੀ ਵਰਤੋਂ ਕਰੋ। ਆਪਣੇ agent ਨੂੰ citations ਪ੍ਰਦਾਨ ਕਰਨ ਲਈ ਮਜਬੂਰ ਕਰੋ।
    1. Sequential Retrieval Web search ਨਾਲ 800ms ਤੋਂ 1.4s ਤੱਕ ਦੀ latency ਵਧ ਜਾਂਦੀ ਹੈ। ਜੇਕਰ ਤੁਸੀਂ reasoning ਤੋਂ ਪਹਿਲਾਂ search ਖਤਮ ਹੋਣ ਦੀ ਉਡੀਕ ਕਰਦੇ ਹੋ, ਤਾਂ ਤੁਹਾਡਾ agent ਸੁਸਤ ਮਹਿਸੂਸ ਹੋਵੇਗਾ। ਡੇਟਾ ਨੂੰ parallel ਵਿੱਚ ਪ੍ਰਾਪਤ ਕਰਨ ਲਈ async patterns ਦੀ ਵਰਤੋਂ ਕਰੋ।
    1. Failing to Monitor Drift ਦੁਨੀਆ ਦੇ ਬਦਲਣ ਨਾਲ accuracy ਘਟ ਜਾਂਦੀ ਹੈ। CloudWatch ਵਿੱਚ ਆਪਣੇ retrieval sources ਅਤੇ citation domains ਨੂੰ track ਕਰੋ। ਗਾਹਕਾਂ ਦੇ ਪਤਾ ਲਗਾਉਣ ਤੋਂ ਪਹਿਲਾਂ ਗੁਣਵੱਤਾ ਵਿੱਚ ਗਿਰਾਵਟ ਨੂੰ ਫੜਨ ਲਈ ਆਪਣੇ models ਦਾ ਹਰ ਮਹੀਨੇ ਟੈਸਟ ਕਰੋ।
    1. Unbounded Search Loops Multi-agent loops ਲਗਾਤਾਰ web calls ਸ਼ੁਰੂ ਕਰ ਸਕਦੇ ਹਨ। ਇਸ ਕਾਰਨ ਇੱਕ startup ਨੇ ਇੱਕ ਮਹੀਨੇ ਵਿੱਚ $11,000 ਖਰਚ ਦਿੱਤੇ। Lambda budget ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਹਰ session ਲਈ web calls 'ਤੇ ਇੱਕ ਸਖ਼ਤ ਸੀਮਾ (hard limit) ਨਿਰਧਾਰਤ ਕਰੋ।

ਟੀਚਾ ਇੱਕ hybrid stack ਹੈ: • Intent Classifier • Internal Vector DB • AgentCore Web Search • Bedrock Guardrails • Drift Monitoring

ਸਿਰਫ਼ ਡੈਮੋ ਲਈ ਨਹੀਂ, ਸਗੋਂ ਛੇਵੇਂ ਮਹੀਨੇ ਦੀ ਲੋੜ ਮੁਤਾਬਕ ਬਣਾਓ।

Source: https://dev.to/aarhamforensics_eb3c024eb/amazon-bedrock-agentcore-web-search-7-deployment-mistakes-that-break-production-agents-821

Optional learning community: https://t.me/GyaanSetuAi