AI 에이전트에게 어느 정도의 자율성을 부여해야 할까요?
사람들은 에이전틱 AI(Agentic AI)를 더 많은 자율성을 향한 경쟁이라고 말합니다.
그들은 더 많은 도구, 더 많은 추론, 더 많은 독립성을 원합니다.
소프트웨어 엔지니어는 이런 식으로 일하지 않습니다. 우리는 단순히 인기가 있다고 해서 마이크로서비스를 구축하지 않습니다. 우리는 기능과 복잡성 사이의 균형을 맞추는 시스템을 구축합니다.
AI 에이전트도 동일한 접근 방식이 필요합니다.
질문은 에이전트가 얼마나 자율적일 수 있느냐가 아니라, 에이전트가 얼마나 자율적이어야 하느냐입니다.
자율성은 설계 결정 사항입니다. 에이전트가 결정을 내릴 때마다 그 책임도 커집니다.
높은 자율성은 에이전트가 새로운 상황에 적응하도록 돕습니다. 지속적인 가이드 없이도 목표에 도달할 수 있게 합니다.
하지만 높은 자율성은 에이전트를 예측하고 디버깅하기 어렵게 만듭니다. 또한 신뢰하기 어렵게 만듭니다.
자율성은 스펙트럼입니다.
- 낮은 자율성: 텍스트만 생성하는 시스템.
- 중간 자율성: 행동을 제안하고 도구를 사용하는 시스템.
- 높은 자율성: 인간의 도움을 거의 받지 않고 목표 달성 방법을 결정하는 시스템.
단계가 올라갈수록 기능과 복잡성이 증가합니다. 문제는 해결하려는 수준에 맞춰 멈춰야 합니다.
HR 어시스턴트를 생각해 봅시다. 이 에이전트는 정책 질문에 답합니다. 여기에 직원 기록을 수정할 수 있는 권한을 주는 것은 큰 가치를 더하지 않으면서 위험만 높이는 일입니다.
이제 운영 에이전트를 생각해 봅시다. 이 에이전트는 생산 장애를 조사합니다. 로그를 확인하고 문서를 검색해야 합니다. 발견한 내용에 따라 검색 방식을 조정해야 합니다. 고정된 워크플로우는 여기서 실패합니다. 더 높은 자율성이 이 솔루션을 개선합니다.
문제가 자율성의 수준을 결정합니다.
성공적인 프로덕션 시스템은 종종 의도적으로 제약을 둡니다. 이를 '제한된 자율성(bounded autonomy)'이라고 합니다. 시스템의 신뢰성을 유지하기 위해 한계를 설정하는 것입니다.
제약의 예:
- 도구 접근 제한
- 작업 범위 제한
- 중요한 작업에 대한 인간의 승인 요구
- 지출 한도 설정
- 인간에게 에스컬레이션(escalate)할 시점 정의
이러한 제약은 에이전트를 더 예측 가능하게 만듭니다.
더 많은 자율성을 부여하기 전에 다음 질문을 던져보세요:
- 고정된 워크플로우로 해결할 수 있는가?
- 다음 단계가 알 수 없는 정보에 의존하는가?
- 에이전트가 실패하면 어떻게 되는가?
- 위험한 작업과 저위험 추론을 분리할 수 있는가?
최고의 엔지니어는 자율성을 극대화하지 않습니다. 자율성이 어디서 시작되고 어디서 끝나는지를 정확히 결정합니다.
좋은 아키텍처란 필요한 일을 수행하고, 그 이상의 것은 하지 않는 것입니다.
Source: https://dev.to/rohith_kn/how-much-autonomy-should-your-ai-agent-have-4h4n