测试智能体 AI 系统
构建一个 AI 智能体很容易，但确保它不会“失控”却很难。你需要一个严格的测试框架，才能实现从原型到生产环境的跨越。
请遵循以下八个阶段来确保您的智能体安全：
阶段 1：组件测试
为每一层编写单元测试。测试您的研究智能体、搜索工具和记忆功能。使用经专家认可的模拟数据（mock data）。对 Shopify 或 Meta 等外部 API 进行桩处理（stub）。如果某个 API 宕机，您的测试不应因此而失败。
阶段 2：提示词库
构建一个精炼的提示词库。按业务领域对其进行标记。包含诸如提示词注入（prompt injection）和工具响应为空等失败案例。测试多轮对话以确保记忆功能正常工作。检查用户数据是否会在不同会话之间泄露。
阶段 3：覆盖率与轨迹
检查每个工具是否确实被触发。然后，检查智能体所采取的路径。仅仅触发工具是不够的，智能体必须以正确的顺序、使用正确的参数调用正确的工具。
阶段 4：版本化运行
为每次运行打上版本号。存储每一个响应。多次运行每个提示词，以应对模型的随机性。跟踪您的通过率、成本、Token 消耗量和延迟。准确性是业务中针对速度和价格进行的权衡。
阶段 5：标准答案库 (Ground Truth Store)
为每个提示词保留经过验证的答案。确定谁有权修改这些答案。如果您的产品发生变化而您没有更新标准答案，那么您的测试失败是正确的（即测试起到了预警作用）。
阶段 6：评估器
根据标准答案对运行结果进行评分。使用 LLM 裁判（LLM judge）来检查精确度和正确性。注意裁判可能存在的偏见。将 LLM 评分与人工标注进行对比，以确保准确性。
阶段 7：人工审核
为低分案例创建一个仪表板。由人工来纠正错误。利用这些人工纠正的数据来训练您的 LLM 裁判。
阶段 8：CI/CD 集成
在每次拉取请求（pull request）时运行组件测试。每晚运行全套测试。设置一个阈值，如果评分下降则阻止部署。
可选学习社区：https://t.me/GyaanSetuAi