AI 에이전트 평가는 너무 일찍 끝납니다
대부분의 사람들은 AI 에이전트 평가가 출시와 함께 끝난다고 생각합니다. 벤치마크 점수가 높으면 에이전트가 준비되었다고 가정하죠. 하지만 이는 실수입니다.
높은 점수는 종종 에이전트가 몇 가지 특정 사례를 통과했다는 것만을 의미할 뿐입니다. 그것이 에이전트가 실제 환경에 투입될 준비가 되었다는 뜻은 아닙니다.
현재의 벤치마크에는 거대한 격차가 존재합니다. 15개의 주요 벤치마크를 검토한 결과 다음과 같은 사실이 드러났습니다:
- 점수에 안전성(safety)이나 보안(security)을 포함한 벤치마크는 단 하나도 없었습니다.
- 비용 효율성을 포함한 벤치마크도 없었습니다.
- 15개 중 13개는 단순히 성공 또는 실패라는 이진 결과에만 의존했습니다.
- 배포 준비도가 50%에 도달한 벤치마크는 없었습니다.
최종 결과물만 테스트하는 것은 위험합니다. 에이전트가 정답을 내놓으면 성공한 것처럼 보이지만, 그 과정(path)은 잘못되었을 수 있기 때문입니다.
에이전트는 다음과 같은 행동을 할 수 있습니다:
- 정답을 얻기 위해 잘못된 도구를 사용함.
- 검증 단계를 완전히 건너뜀.
- 사실을 환각(hallucinate)하면서도 결론은 맞게 도출함.
- 끊임없는 재시도로 예산을 탕진함.
만약 고객 지원 에이전트가 잘못된 계정에 대해 환불을 처리한다면, 결과물 자체는 정상적으로 보일 것입니다. 하지만 에이전트는 실패한 것입니다.
단순히 정답만이 아니라, 그 과정(trajectory)을 평가해야 합니다.
진정한 평가는 다음의 차원들을 포함해야 합니다:
- 도구 및 파라미터의 정확성.
- 근거(grounding) 및 정확도.
- 비용 및 지연 시간(latency).
- 정책 및 안전성.
- 오류로부터의 복구 능력.
평가를 출시 보고서로 취급하는 것을 멈추십시오. 평가를 지속적인 루프로 다루어야 합니다.
더 나은 작업 방식:
- 역량 측정을 위한 공개 벤치마크 구축.
- 출시 전 오프라인 테스트 실행.
- 프로덕션 트레이스(production traces)를 실시간으로 모니터링.
- 도구 호출, 인자(arguments), 중간 결정 사항 캡처.
- 실패한 프로덕션 트레이스를 활용하여 오프라인 데이터셋 개선.
평가는 관측 가능성(observability)의 문제입니다. 에이전트의 행동이 비즈니스 목표, 도구, 그리고 사용자 의도와 일관되게 유지될 때만 에이전트는 성공적이라고 할 수 있습니다. 이러한 요소들은 매일 변합니다.
트레이스를 단순히 저장만 하지 마십시오. 평가하십시오. 평가 없는 트레이스 저장은 단순한 검색 문제일 뿐입니다. 프로덕션 데이터 없는 오프라인 평가는 그저 보여주기식(theater)에 불과합니다.
평가의 마지막 단계는 점수가 되어서는 안 됩니다. 마지막 단계는 '다음 트레이스'가 되어야 합니다.
Source: https://dev.to/focused_dot_io/ai-agent-evaluation-ends-too-early-focused-labs-38aa
Optional learning community: https://t.me/GyaanSetuAi