𝗔𝗺𝗮𝘇𝗼𝗻 𝗕𝗲𝗱𝗿𝗼𝗰𝗸 𝗔𝗴𝗲𝗻𝘁𝗖𝗼𝗿𝗲 𝗪𝗲𝗯 𝗦𝗲𝗮𝗿𝗰𝗵: 𝗣𝗿𝗼𝗱𝘂𝗰𝘁𝗶𝗼𝗻 𝗔𝗴𝗲𝗻𝘁𝘀 𝗻𝘂𝗱𝗱𝗲𝘀𝗲𝘀𝗲 𝟳 𝗧𝗮𝗽𝗽𝘂𝗹𝘂

2024లో చాలా AI టీమ్‌లు ఒక తప్పు చేశాయి. అవి స్టాటిక్ డేటాపై ఆధారపడే RAG పైప్‌లైన్‌లను నిర్మించాయి.

స్టాటిక్ RAG పైప్‌లైన్ అనేది ఇంటర్నెట్‌కు తీసిన ఒక ఫోటో లాంటిది. దానిని తీసిన క్షణమే అది పాతదైపోతుంది. AWS ఇప్పుడు Amazon Bedrock AgentCore లోని Web Search ద్వారా దీనిని మార్చేసింది.

మీరు సెర్చ్ ఇన్‌ఫ్రాస్ట్రక్చర్‌ను నిర్మించాల్సిన అవసరం లేకుండానే, ఈ టూల్ మీ ఏజెంట్లు లైవ్ డేటాను ఉపయోగించుకునేలా చేస్తుంది. అయితే, చాలా టీమ్‌లు డిప్లాయ్‌మెంట్ సమయంలో విఫలమవుతున్నాయి.

మీరు తప్పనిసరిగా నివారించాల్సిన 7 తప్పులు ఇక్కడ ఉన్నాయి:

  • RAG కి బదులుగా వెబ్ సెర్చ్‌ను ఉపయోగించడం. వెబ్ సెర్చ్ అనేది ప్రస్తుత సంఘటనలు మరియు ధరల కోసం. RAG అనేది మీ అంతర్గత కంపెనీ డాక్యుమెంట్ల కోసం. ప్రతి క్వెరీకి సరైన మార్గాన్ని ఎంచుకోవడానికి ఒక రూటర్ (router) ఉపయోగించండి.

  • Bedrock Guardrails వెబ్ సెర్చ్‌ను కవర్ చేస్తాయని అనుకోవడం. అవి చేయవు. వెబ్ సెర్చ్ అనేది ఒక ప్రత్యేకమైన మార్గం. మీరు డొమైన్ అలోలిస్ట్‌లు (domain allowlists) మరియు PII స్కబ్బింగ్ (PII scrubbing) వంటి AgentCore పాలసీ కంట్రోల్‌లను స్వయంగా సెటప్ చేయాలి.

  • మల్టీ-ఏజెంట్ సిస్టమ్స్‌లో అనవసరమైన సెర్చ్‌లను నిర్వహించడం. AutoGen వంటి ఫ్రేమ్‌వర్క్‌లలో, ప్రతి సబ్-ఏజెంట్ విడివిడిగా సెర్చ్ చేయవచ్చు. ఇది మీ ఖర్చులను 4 నుండి 8 రెట్లు పెంచుతుంది. దానికి బదులుగా షేర్డ్ సెర్చ్ మెమరీని (shared search memory) ఉపయోగించండి.

  • Frozen Knowledge Trap ను విస్మరించడం. మీ మోడల్ పాత సమాధానాలను ఇచ్చినప్పుడు దానిని నిందించకండి. సమస్య బహుశా మీ డేటా ఆర్కిటెక్చర్‌లోనే ఉండవచ్చు. సమాధానం ప్రతి వారం మారుతుంటే, మీకు లైవ్ సెర్చ్ అవసరం.

  • అబ్జర్వబిలిటీని (observability) వదిలేయడం. మీ ఏజెంట్ హాలూసినేట్ (hallucinate) చేస్తే, ఎందుకు అనేది మీకు తెలియాలి. అది తప్పుడు సెర్చ్ రిజల్ట్ వల్లనా లేక మోడల్ ఎర్రర్ వల్లనా? ప్రతి దశను ట్రాస్ (trace) చేయడానికి Langfuse ఉపయోగించండి.

  • నిర్దిష్ట ఎండ్‌పాయింట్‌ల కోసం హార్డ్‌కోడింగ్ చేయడం. AWS ఈ టూల్స్‌ను అప్‌డేట్ చేస్తూ ఉంటుంది. మీరు ప్రొవైడర్లను సులభంగా మార్చుకోవడానికి MCP-కంప్యాటబుల్ టూల్ డిస్క్రిప్టర్లను (MCP-compatible tool descriptors) ఉపయోగించండి.

  • ప్రాంప్ట్ ఇంజెక్షన్ (prompt injection) కోసం పరీక్షించడంలో విఫలం కావడం. ఒక విషపూరిత వెబ్‌పేజీ మీ ఏజెంట్‌ను హైజాక్ చేయవచ్చు. లైవ్ వెళ్లే ముందు, తెలిసిన ఇంజెక్షన్ పేలోడ్‌లతో (injection payloads) మీ ఏజెంట్‌ను పరీక్షించండి.

ప్రొడక్షన్-రెడీ ఏజెంట్‌ను ఎలా నిర్మించాలి:

  1. క్వెరీ ఉద్దేశ్యాన్ని (query intent) వర్గీకరించండి.
  2. RAG, Web Search లేదా Memory కి రూట్ చేయండి.
  3. వెబ్ ఫలితాలను పాలసీ ఫిల్టర్ ద్వారా పంపండి.
  4. కాంటెక్స్ట్‌ను రూపొందించి మోడల్‌ను కాల్ చేయండి.

స్టాటిక్ సిస్టమ్‌లను నిర్మించడం ఆపండి. లైవ్, గ్రౌండెడ్ ఏజెంట్ల వైపు వెళ్లండి.

Source: https://dev.to/aarhamforensics_eb3c024eb/amazon-bedrock-agentcore-web-search-7-mistakes-that-kill-production-agents-2dkn

Optional learning community: https://t.me/GyaanSetuAi