加拿大航空(Air Canada)被裁定需支付 812.02 加元,此前仲裁庭认定,由于其聊天机器人承诺了一项并不存在的退款,航空公司需承担责任。

纠纷是如何展开的

2022 年,Jake Moffatt 因参加葬礼需要临时购买机票。他向航空公司的在线聊天机器人询问了丧葬票价(bereavement fares)。机器人回复称,他可以先购买全价票,稍后再申请退款。基于这一回答,Moffatt 支付了 1,630.36 加元。当他要求履行承诺的退款时,加拿大航空拒绝了该请求。

Moffatt 将此事提交至仲裁庭。仲裁员表示,该航空公司构成了过失性虚假陈述(negligent misrepresentation)——聊天机器人的陈述是一个诱导购买的虚假承诺。他们驳回了加拿大航空关于“软件代理不能作为合同方”的主张,并指出该机器人运行在公司的官方网站上,因此代表航空公司行事。仲裁庭命令航空公司向 Moffatt 赔偿 812.02 加元。

为什么此案至关重要

大多数公众对 AI 错误的抗议都集中在明显的失败上——如数据丢失、代码崩溃或明显的偏见输出。而这一裁决凸显了一种更微妙的危险:一个在编造政策细节时听起来充满自信的 AI,可能会产生具有法律约束力的义务。该机器人并没有“删除”任何东西;它只是给出了一个清晰、无条件的回答,一个合理的客户会将其视为航空公司的官方立场。

该裁决设定了一个法律先例,即 AI 生成的陈述不能通过“软件只是工具”这一辩护来免责。如果虚拟助手提供的信息让消费者依赖并据此进行购买,那么该信息可能会被视为合同条款。部署聊天机器人但缺乏严格控制的公司面临类似的责任风险。

错误的底层技术原因

该错误源于检索增强生成(RAG)流水线。系统找到了正确的政策文档,但提取了错误的句子并将其作为事实呈现。用于过滤胡言乱语或冒犯性语言的护栏(guardrails)往往会忽略那些文笔流畅但内容不准确的摘录。在这种情况下,机器人的流畅性——即它没有犹豫或没有说“我不确定”——让这个虚假承诺显得极具权威性。

航空公司和其他公司现在可以做什么

  • 对任何涉及财务或权益的措辞进行硬编码。 使用固定模板来处理有关退款、折扣或费用的声明。
  • 将聊天机器人视为一线员工。 假定在法律眼中它能够“签署”合同,并对其输出进行与人工代理相同的审核流程。
  • 将搜索与生成分离。 当任务是定位政策文本时,应返回链接或引用的摘录,而不是转述后的答案。

这些步骤可能会让交互感降低(不再那么像对话),但它们能阻止那种让加拿大航空付出法院判令赔偿代价的“自信的误导信息”。

反方观点:这种责任判定公平吗?

加拿大航空辩称,一段代码缺乏法律人格,无法受合同约束。仲裁庭驳回这一观点的基础在于:公司将聊天机器人作为官方联系点进行展示。批评者担心,将责任延伸到 AI 可能会抑制创新,迫使公司过度设计安全网,从而降低用户体验。在保护消费者与保持 AI 灵活性之间取得平衡,可能会在未来的案件中引发辩论。

后续值得关注的动向

  • 后续诉讼。 如果加拿大航空提出上诉,高级法院可能会进一步明确 AI 合同责任的范围。
  • 监管指导。 消费者保护机构可能会针对 AI 生成的披露信息发布规则,特别是在金融、旅游和医疗领域。
  • 行业标准。 技术团体可能会制定“合同安全型”AI 响应的最佳实践框架,类似于现有的安全和隐私指南。

教训很明确:在法律眼中,一个能够回答价格、退款或权益问题的 AI 聊天机器人,就是企业的代表。那些将其视为简单搜索框的公司,面临着为那些其政策从未打算做出的承诺而买单的风险。