𝗔𝗺𝗮𝘇𝗼𝗻 𝗕𝗲𝗱𝗿𝗼𝗰𝗸 𝗔𝗴𝗲𝗻𝘁𝗖𝗼𝗿𝗲 𝗪𝗲𝗯 𝗦𝗲𝗮𝗿𝗰𝗵: 𝟳 𝗠𝗶𝘀𝘁𝗮𝗸𝗲𝘀 𝗧𝗵𝗮𝘁 𝗞𝗶𝗹𝗹 𝗣𝗿𝗼𝗱𝘂𝗰𝘁𝗶𝗼𝗻 𝗔𝗴𝗲𝗻𝘁𝘀

ทีม AI ส่วนใหญ่ทำผิดพลาดในปี 2024 พวกเขาสร้าง RAG pipeline ที่พึ่งพาข้อมูลแบบ static

RAG pipeline แบบ static เปรียบเสมือนภาพถ่ายของอินเทอร์เน็ต ซึ่งมันจะล้าสมัยทันทีที่คุณถ่ายเสร็จ แต่ AWS เพิ่งจะเปลี่ยนสิ่งนี้ด้วย Web Search บน Amazon Bedrock AgentCore

เครื่องมือนี้ช่วยให้ Agent ของคุณสามารถใช้ข้อมูลแบบ live ได้โดยที่คุณไม่ต้องสร้างโครงสร้างพื้นฐานด้านการค้นหาเอง อย่างไรก็ตาม หลายทีมมักจะล้มเหลวในช่วงการนำไปใช้งานจริง (deployment)

นี่คือ 7 ข้อผิดพลาดที่คุณต้องหลีกเลี่ยง:

  • การใช้ web search มาแทนที่ RAG Web search มีไว้สำหรับเหตุการณ์ปัจจุบันและราคา ส่วน RAG มีไว้สำหรับเอกสารภายในบริษัทของคุณ ควรใช้ router เพื่อเลือกเส้นทางที่เหมาะสมสำหรับแต่ละ query

  • การทึกทักเอาเองว่า Bedrock Guardrails ครอบคลุมถึง web search ความจริงคือไม่ครอบคลุม เพราะ web search เป็นเส้นทางที่แยกต่างหาก คุณต้องตั้งค่าการควบคุมนโยบายของ AgentCore ด้วยตัวเอง เช่น domain allowlists และการทำ PII scrubbing

  • การสั่งค้นหาที่ซ้ำซ้อนในระบบ multi-agent ใน framework อย่าง AutoGen sub-agent แต่ละตัวอาจเรียกใช้การค้นหาแยกกัน ซึ่งจะทำให้ค่าใช้จ่ายของคุณพุ่งสูงขึ้นถึง 4 ถึง 8 เท่า ควรใช้ shared search memory แทน

  • การละเลยกับดักความรู้ที่หยุดนิ่ง (Frozen Knowledge Trap) อย่าโทษโมเดลเมื่อมันให้คำตอบที่เก่าเกินไป ปัญหามักจะอยู่ที่สถาปัตยกรรมข้อมูลของคุณ หากคำตอบมีการเปลี่ยนแปลงทุกสัปดาห์ คุณจำเป็นต้องใช้ live search

  • การข้ามขั้นตอน observability หาก Agent ของคุณเกิดอาการหลอน (hallucinate) คุณต้องรู้สาเหตุว่าเกิดจากผลการค้นหาที่ไม่ดีหรือเป็นข้อผิดพลาดของโมเดลกันแน่ ควรใช้ Langfuse เพื่อติดตาม (trace) ทุกขั้นตอน

  • การเขียนโค้ดแบบ Hardcode กับ endpoint เฉพาะเจาะจง AWS จะมีการอัปเดตเครื่องมือเหล่านี้เสมอ ควรใช้ tool descriptors ที่รองรับ MCP เพื่อให้คุณสามารถเปลี่ยนผู้ให้บริการได้อย่างง่ายดาย

  • การล้มเหลวในการทดสอบ prompt injection หน้าเว็บที่ถูกวางยา (poisoned webpage) สามารถเข้าควบคุม Agent ของคุณได้ ควรทดสอบ Agent ของคุณด้วย injection payloads ที่เป็นที่รู้จักก่อนนำไปใช้งานจริง

วิธีสร้าง Agent ที่พร้อมใช้งานในระดับ Production:

  1. จำแนกเจตนาของ query (query intent)
  2. ส่งต่อไปยัง RAG, Web Search หรือ Memory
  3. ส่งผลลัพธ์จากเว็บผ่านตัวกรองนโยบาย (policy filter)
  4. รวบรวมบริบท (context) และเรียกใช้งานโมเดล

เลิกสร้างระบบแบบ static และเปลี่ยนมาสร้าง Agent ที่ทำงานแบบ live และมีข้อมูลอ้างอิงที่ถูกต้อง (grounded)

แหล่งที่มา: https://dev.to/aarhamforensics_eb3c024eb/amazon-bedrock-agentcore-web-search-7-mistakes-that-kill-production-agents-2dkn

ชุมชนแห่งการเรียนรู้เพิ่มเติม (ไม่บังคับ): https://t.me/GyaanSetuAi