AI 에이전트에게는 서킷 브레이커(Circuit Breakers)가 필요합니다
사람들은 AI의 추론, 계획, 메모리에 대해 이야기합니다.
하지만 에이전트가 실패했을 때 어떤 일이 벌어지는지에 대해서는 거의 이야기하지 않습니다.
자율 워크플로우를 테스트하던 중 이 점을 깨달았습니다. 에이전트는 충돌(crash)하지 않았습니다. 에러를 표시하지도 않았습니다.
그저 더 열심히 시도할 뿐이었습니다.
도구 호출(tool call)이 실패했습니다. 에이전트는 재시도했습니다. 그것도 실패했습니다. 에이전트는 새로운 계획을 세웠습니다. 더 많은 도구를 호출했습니다. 그렇게 계속해서 악순환에 빠졌습니다.
겉보기에는 생산적으로 보였지만, 내부적으로는 루프에 갇혀 있었습니다.
분산 시스템에서 엔지니어들은 서킷 브레이커를 사용합니다. 서비스가 실패하면 요청 전송을 중단하여 시스템의 나머지 부분을 보호합니다.
AI 에이전트에게도 이것이 필요합니다.
자율 에이전트는 API를 호출하고, 코드를 배포하며, 토큰을 소비합니다. 가드레일(guardrails)이 없다면 작은 실수가 막대한 비용으로 이어질 수 있습니다.
에이전트가 애플리케이션을 배포하는 상황을 상상해 보세요. 배포가 실패합니다. 에이전트는 재시도합니다. 또 실패합니다. 설정을 변경하고 다시 시도합니다. 모든 행동이 상황을 악화시킬 뿐입니다.
문제는 모델이 아닙니다. 경계가 없는 지능은 예측 불가능합니다.
서킷 브레이커는 그러한 경계를 만들어 줍니다. 다음과 같은 역할을 할 수 있습니다:
- 실패 시도가 너무 많아지면 실행을 중단합니다.
- 비용이 한도에 도달하면 워크플로우를 일시 중지합니다.
- 운영 환경(production)에 접근하기 전에 사람의 승인을 요청합니다.
- 검증될 때까지 위험한 동작을 차단합니다.
서킷 브레이커는 자율성을 저해하는 것이 아니라, 신뢰를 구축하는 것입니다.
우리는 에이전트에게 어떻게 행동해야 하는지를 가르치는 데 시간을 씁니다. 하지만 언제 멈춰야 하는지를 가르치는 데에도 시간을 써야 합니다.
운영 환경에서는 다음에 무엇을 할지 아는 것보다 언제 멈춰야 할지를 아는 것이 더 중요합니다.
Source: https://dev.to/mukeshkuiry/the-day-i-realized-ai-agents-need-circuit-breakers-22hj
Optional learning community: https://t.me/GyaanSetuAi