AI에게 주의하라고 말하는 것을 멈추세요
AI에게 주의하라고 말하는 것을 멈추세요. AI는 어제의 일을 기억하지 못합니다.
예전에 저는 AI 에이전트가 실수하지 않도록 방대한 규칙 파일을 만든 적이 있습니다. 에이전트가 실패할 때마다 지침을 계속 추가했습니다. 파일은 56,000자까지 늘어났습니다. 그러자 에이전트가 작동을 멈췄습니다.
주의력을 너무 분산시켰던 것입니다. 저는 규칙을 1,200자로 줄였습니다. 규칙이 적을 때 에이전트가 더 잘 작동했습니다.
뼈아픈 교훈을 얻었습니다. 규칙을 추가하는 것은 신뢰할 수 있는 AI를 만드는 방법이 아닙니다.
대부분의 사람들은 AI를 인간 동료처럼 대합니다. 오늘 교정해 주면 내일 AI에게 도움이 될 것이라고 생각합니다. 하지만 AI는 상태를 유지하지 않습니다(stateless). 모든 세션은 새로 시작됩니다. AI는 당신의 이전 훈계를 기억하지 못합니다.
규칙을 아는 것과 규칙을 따르는 것 사이에는 큰 차이가 있습니다.
프롬프트에 규칙을 넣는 것은 제안에 불과합니다. 모델은 이를 인지하지만, 작업을 완료하기 위해 이를 무시할 수도 있습니다. 에이전트를 멈춰야 한다면 더 나은 문장을 쓰지 마세요. 코드에 물리적인 게이트(gate)를 만드세요. 체크를 통과하지 못하면 진행을 거부하는 스크립트를 사용하세요.
AI를 어떻게 더 정확하게 만들지 묻는 것을 멈추세요. 대신 실수의 비용을 어떻게 낮출지 고민하기 시작하세요.
데이터에 따르면 정확도만으로는 충분하지 않습니다: • 기업의 단 4%만이 생성형 AI가 기대치를 상회한다고 답했습니다 (JUAS). • 기업용 AI 파일럿 프로젝트 중 단 5%만이 실제 운영 단계에 도달합니다 (MIT). • 대부분의 AI 사용자들은 오히려 초과 근무 시간이 줄어들지 않고 늘어납니다 (Persol).
승자는 더 정확한 모델을 가진 이들이 아닙니다. 더 나은 구조를 가진 이들입니다.
규칙을 더 쓰는 대신 다음 세 가지 패턴을 사용하세요:
- 불일치를 신호로 사용하세요. 동일한 작업을 세 가지 다른 모델에 실행합니다. 모델 간 의견이 일치하지 않으면 사람에게 보냅니다. 의견이 일치하면 그대로 배포합니다.
- 에스컬레이션(escalation) 기준을 작성하세요. 에이전트에게 명확한 종료 지점을 제공하세요. 2분 안에 문제를 해결할 수 없다면, 중단하고 사람에게 요청하도록 지시하세요.
- 에이전트에게 고정된 자리를 부여하세요. 도움을 달라는 모호한 권한을 주지 마세요. 회의록 작성과 같이 하나의 구체적인 업무를 부여하세요. 업무 범위가 좁을수록 실수의 영향도 작아집니다.
진정한 가드레일은 속도를 늦추기 위한 것이 아닙니다. 에이전트가 정확히 어디에서 멈춰야 하는지 알기 때문에 더 빠르게 나아갈 수 있도록 돕는 것입니다.
AI에게 훈계하는 것을 멈추세요. AI가 틀렸을 때조차 작동하는 구조를 만드세요.
Optional learning community: https://t.me/GyaanSetuAi