에어캐나다가 존재하지 않는 환불을 약속한 챗봇에 대해 책임을 져야 한다는 심판부의 판결에 따라 812.02 CAD를 지급하라는 명령을 받았습니다.

분쟁의 전개 과정

2022년 제이크 모팻(Jake Moffatt)은 장례식 참석을 위해 급히 항공권이 필요했습니다. 그는 항공사의 온라인 챗봇에 유가족 할인 요금(bereavement fares)에 대해 문의했습니다. 챗봇은 정가로 티켓을 구매한 후 나중에 환불을 요청할 수 있다고 답변했습니다. 모팻은 그 답변을 믿고 1,630.36 CAD를 결제했습니다. 하지만 약속된 환불을 요청했을 때, 에어캐나다는 이를 거부했습니다.

모팻은 이 문제를 심판부에 제기했습니다. 심판관들은 항공사가 과실에 의한 허위 진술(negligent misrepresentation)을 했다고 판단했습니다. 즉, 챗봇의 답변은 구매를 유도한 허위 약속이었다는 것입니다. 심판부는 소프트웨어 에이전트는 계약 당사자가 될 수 없다는 에어캐나다의 주장을 기각하며, 해당 봇이 회사의 공개 웹사이트에서 운영되고 있으므로 항공사를 대리하여 행동하는 것이라고 지적했습니다. 심판부는 항공사에 모팻에게 812.02 CAD를 배상하라고 명령했습니다.

이 사건이 중요한 이유

AI 오류에 대한 대부분의 대중적 공분은 데이터 손실, 코드 오류 또는 명백하게 편향된 결과물과 같은 눈에 보이는 실패에 집중됩니다. 하지만 이번 판결은 더 미묘한 위험을 조명합니다. 정책 세부 사항을 지어내면서도 자신감 있게 말하는 AI가 법적 구속력이 있는 의무를 생성할 수 있다는 점입니다. 챗봇이 무언가를 "삭제"한 것은 아니었습니다. 단지 합리적인 고객이라면 항공사의 공식 입장으로 받아들일 만한 명확하고 확정적인 답변을 제공했을 뿐입니다.

이번 판결은 AI가 생성한 진술이 "소프트웨어는 단지 도구일 뿐"이라는 방어 논리로 보호받을 수 없다는 법적 선례를 남겼습니다. 가상 비서가 소비자가 구매 결정을 내리는 데 의존하는 정보를 제공한다면, 그 정보는 계약 조건으로 간주될 수 있습니다. 엄격한 통제 없이 챗봇을 도입하는 기업들은 이와 유사한 법적 책임을 질 위험이 있습니다.

오류의 기술적 원인

이 오류는 검색 증강 생성(RAG) 파이프라인에서 비롯되었습니다. 시스템이 올바른 정책 문서를 찾아냈지만, 잘못된 문장을 추출하여 사실인 것처럼 제시한 것입니다. 횡설수설하거나 공격적인 언어를 걸러내는 가드레일(guardrails)은 문장이 매끄럽게 작성되었지만 내용이 부정확한 발췌문은 놓치는 경우가 많습니다. 이번 사례에서는 챗봇의 유창함, 즉 망설임이나 "잘 모르겠습니다"라는 표현의 부재가 허위 약속에 권위 있는 느낌을 부여했습니다.

항공사 및 기타 기업이 지금 할 수 있는 일

  • 금융 또는 권리 관련 문구는 하드코딩하십시오. 환불, 할인 또는 수수료에 관한 진술에는 고정된 템플릿을 사용하십시오.
  • 챗봇을 일선 직원처럼 취급하십시오. 법적 관점에서 챗봇이 계약에 "서명"할 수 있다고 가정하고, 챗봇의 결과물을 상담원과 동일한 검토 프로세스에 적용하십시오.
  • 검색과 생성을 분리하십시오. 정책 텍스트를 찾는 작업의 경우, 말을 바꾸어 설명하는 답변 대신 링크나 인용된 발췌문을 제공하십시오.

이러한 조치들은 대화의 느낌을 덜 자연스럽게 만들 수 있지만, 에어캐나다가 법원 명령에 따른 배상금을 지불하게 만든 것과 같은 '자신감 넘치는 오정보'를 방지할 수 있습니다.

반론: 책임 소재가 공정한가?

에어캐나다는 코드 조각은 법적 인격이 없으며 계약에 구속될 수 없다고 주장했습니다. 심판부의 기각 결정은 회사가 챗봇을 공식적인 접점(point of contact)으로 제시하고 있다는 원칙에 근거합니다. 비판론자들은 AI에 책임을 확장하는 것이 혁신을 저해하고, 기업들이 사용자 경험을 저하시키는 과도한 안전망을 구축하도록 강요할 수 있다고 우려합니다. 소비자 보호와 AI의 민첩성 유지 사이의 균형은 향후 사례들에서 계속 논쟁의 대상이 될 것입니다.

향후 주목해야 할 사항

  • 후속 소송. 에어캐나다가 항소할 경우, 상급 법원이 AI 계약 책임의 범위를 구체화할 수 있습니다.
  • 규제 지침. 소비자 보호 기관은 특히 금융, 여행, 의료 분야에서 AI가 생성한 정보 공개에 관한 규칙을 발행할 수 있습니다.
  • 업계 표준. 기술 단체들은 기존의 보안 및 개인정보 보호 가이드