Amazon Bedrock AgentCore Web Search: 7 טעויות שהורסות סוכני Production

רוב צוותי ה-AI עשו טעות בשנת 2024. הם בנו RAG pipelines המסתמכים על נתונים סטטיים.

RAG pipeline סטטי הוא כמו תצלום של האינטרנט. הוא הופך למיושן ברגע שצילמת אותו. AWS שינתה זאת כעת עם Web Search ב-Amazon Bedrock AgentCore.

הכלי הזה מאפשר לסוכנים שלכם להשתמש בנתונים חיים (live data) מבלי שתצטרכו לבנות תשתית חיפוש בעצמכם. עם זאת, צוותים רבים נכשלים במהלך ה-deployment.

להלן 7 הטעויות שעליכם להימנע מהן:

  • שימוש בחיפוש אינטרנטי כתחליף ל-RAG. חיפוש אינטרנטי מיועד לאירועים אקטואליים ולתמחור. RAG מיועד למסמכים הפנימיים של החברה שלכם. השתמשו ב-router כדי לבחור את המסלול הנכון עבור כל שאילתה.

  • הנחה ש-Bedrock Guardrails מכסים חיפוש אינטרנטי. הם לא. חיפוש אינטרנטי הוא מסלול נפרד. עליכם להגדיר בעצמכם בקרות מדיניות של AgentCore, כמו רשימות כתובות מורשות (domain allowlists) וניקוי PII.

  • הרצת חיפושים כפולים במערכות מרובות-סוכנים (multi-agent systems). בפריימוורקים כמו AutoGen, כל סוכן-משנה עשוי לקרוא לחיפוש בנפרד. זה מנפח את העלויות שלכם פי 4 עד 8. השתמשו בזיכרון חיפוש משותף (shared search memory) במקום זאת.

  • התעלמות מ"מלכודת הידע הקפוא" (Frozen Knowledge Trap). אל תאשימו את המודל שלכם כשהוא נותן תשובות מיושנות. הבעיה היא ככל הנראה בארכיטקטורת הנתונים שלכם. אם התשובה משתנה מדי שבוע, אתם זקוקים לחיפוש חי (live search).

  • דילוג על observability. אם הסוכן שלכם מבצע הזיות (hallucinates), אתם חייבים לדעת למה. האם זה היה תוצאת חיפוש גרועה או שגיאת מודל? השתמשו ב-Langfuse כדי לעקוב אחרי כל שלב.

  • Hardcoding מול endpoints ספציפיים. AWS תעדכן את הכלים הללו. השתמשו בתיאורי כלים (tool descriptors) תואמי MCP כדי שתוכלו להחליף ספקים בקלות.

  • אי-ביצוע בדיקות ל-prompt injection. דף אינטרנט "רעיל" יכול לחטוף את הסוכן שלכם. בדקו את הסוכן שלכם עם injection payloads ידועים לפני שאתם עולים לאוויר (go live).

איך לבנות סוכן מוכן ל-production:

  1. סיווג כוונת השאילתה (query intent).
  2. ניתוב ל-RAG, חיפוש אינטרנטי או זיכרון.
  3. העברת תוצאות האינטרנט דרך מסנן מדיניות (policy filter).
  4. הרכבת ההקשר (context) וקריאה למודל.

הפסיקו לבנות מערכות סטטיות. עברו לסוכנים חיים ומבוססי נתונים (grounded agents).

Source: https://dev.to/aarhamforensics_eb3c024eb/amazon-bedrock-agentcore-web-search-7-mistakes-that-kill-production-agents-2dkn

Optional learning community: https://t.me/GyaanSetuAi