客户是否有权知道，自己正在与AI交谈？

Geoffrey Chen

《AI进入工作之后》· 第三季“当AI开始代表组织”· 第二篇

网页右下角出现一个头像：“你好，我是Mia，有什么可以帮你？”客户问退款进度，Mia立即答复；客户解释自己刚刚失业，希望延长期限，Mia说“我理解你的处境”；客户又问这个安排是否已经批准，Mia回答“是的，我已为你处理”。

直到后来公司拒绝延期，客户才发现Mia不是客服人员，而是一个AI系统。公司辩解说，页面角落的服务条款已经写明“部分回复可能由自动化技术生成”。客户的不满却不只来自答案错误。他在交谈时一直以为，对方能够理解例外、具有内部权限，并且正在代表公司作出决定。

客户是否有权知道自己正在与AI交谈？简单回答应该是：当AI身份会合理影响一个人怎样理解对话、披露信息、相信承诺或寻求帮助时，他应当在作出这些选择之前知道。

但这并不意味着每一封经过拼写检查的邮件都要附上一份技术报告。真正需要建立的，是与交互后果相称的透明度。

“使用了AI”不是一个足够完整的说明

一句“本服务可能使用AI”至少遗漏了四个不同问题：

  • 当前与客户交谈的究竟是人、AI，还是人机共同流程；
  • AI可以查资料和解释，还是也可以批准、拒绝或修改账户；
  • 回答来自公司认可的资料，还是来自通用模型的推测；
  • 如果回答不适合客户的处境，怎样转给有权处理的人。

这些信息会改变客户行为。人们可能愿意向一名受职业保密、内部纪律和具体职责约束的员工说明健康、财务或家庭情况，却不愿把同样资料输入一个用途和保存方式不清楚的系统。他们也可能把客服人员说的“已经批准”理解成实际决定，而把自动助手的相同句子理解成需要进一步确认的状态提示。

因此，透明度的对象不只是技术存在，还包括身份、能力、权限、资料边界和退出路径。

澳大利亚的AI伦理原则要求在适当情况下向受影响的人说明AI何时参与，并把透明度与可争议性和责任联系起来。澳大利亚工业、科学与资源部：《Australia’s AI Ethics Principles》 这是一套原则而不是覆盖所有商业交互的统一许可制度，但它提供了正确方向：披露不是为了满足标签，而是让人能够理解结果并挑战它。

客户真正需要的是五层透明度

可以把客户所需的信息分成五层。不同场景不必使用同样长的说明，但高后果交互不能只停留在第一层。

第一层：身份

在对话开始时清楚说明“这是AI助手”，不要只在服务条款或隐私政策中埋入一句话。名称、头像、输入中的停顿和“我理解你的感受”等设计，也不应故意使客户误以为正在与真人交谈。

第二层：任务范围

告诉客户系统可以做什么。例如：“我可以解释公开政策、查询订单状态并帮助准备请求。”范围说明比泛泛的“AI可能出错”更有用。

第三层：权限边界

说明它不能做什么，尤其是不能批准退款、改变合同、提供最终专业建议或处理紧急事项。权限边界应在客户需要决定是否依赖回答以前出现，而不是在失败后才引用。

第四层：资料与记录

当客户被要求提供个人信息时，应知道为什么需要、怎样使用，以及是否会进入账户记录或用于改进系统。澳大利亚隐私原则中的开放透明管理要求机构以清楚方式说明其个人信息管理做法。澳大利亚信息专员办公室：《APP 1—Open and transparent management of personal information》 AI界面不应让传统隐私说明变得更难找到。

第五层：人工升级与质疑

提供真实可用的“转人工”，并说明哪些回答只是信息、哪些已经写入账户、怎样要求复核。一个永远让客户回到同一个机器人的按钮，不是升级机制。

披露必须发生在正确的时间

透明度太晚，等于没有给客户选择。若系统在客户透露敏感资料之后才说“我是AI”，客户已经无法撤回最初决定。若系统在客户依赖一个价格或期限之后才说明自己没有批准权，权限说明也失去作用。

合理时点通常有三个：

  1. 对话开始前说明身份；
  2. 收集资料前说明用途和记录方式；
  3. 接近决定或承诺前再次说明权限并提供人工确认。

欧盟《人工智能法》第50条对直接与自然人交互的某些AI系统设置了透明度义务，要求在适用范围和条件下告知对方正在与AI系统交互，除非从情境看已经明显。欧盟：《Regulation (EU) 2024/1689》 这一规定不能直接当作澳大利亚所有企业的法律规则，但它表达了一个重要设计判断：通知应当及时并且以人能够理解的方式发生，而不是只存在于后台合规文件中。

并非所有AI辅助都需要同样显眼的标签

如果客服人员使用AI检查拼写、搜索内部文件或整理通话笔记，客户未必需要每次看到弹窗。此时人仍在理解客户、选择内容并承担表达，AI没有直接占据交互身份。

披露需要随着三种变化而增强：

  • AI开始直接生成客户看到的答案；
  • AI开始选择行动，而不是只准备材料；
  • 结果开始影响金钱、权利、安全、专业建议或投诉处理。

可以用一个简单判断测试：如果客户知道这是AI，会不会合理地改变他说什么、相信什么或下一步做什么？ 如果答案很可能是会，身份就不应隐藏。

这也说明“显而易见”不能由设计者单方面宣布。卡通机器人图标对熟悉技术的人或许足够，对使用辅助技术、第二语言或认知能力受限的客户却未必清楚。透明度必须经过真实用户测试，而不是只由法律团队看一次界面。

伪装成人会制造一种额外风险

有些系统使用真人姓名、照片、打字停顿和情绪语言，希望对话更自然。自然并非问题，欺骗才是问题。若设计有意让客户误判对方身份、专业资格或权限，它就在利用机构所知道而客户不知道的信息差。

澳大利亚竞争与消费者委员会关于虚假或误导性陈述的指引强调，企业必须考虑信息造成的整体印象，遗漏重要信息也可能产生误导。ACCC：《False or misleading claims》 某一AI界面是否违反法律要依具体事实判断，但“某处有免责声明”并不会自动消除整个交互制造的相反印象。

更好的设计可以保留友好语气，但不借用虚假的人类身份。例如：“我是Mia，公司的AI服务助手。我可以查询状态和解释标准政策，但不能批准例外。需要时我会把完整对话交给客服人员。”这段话同时交代身份、能力和边界，比冷冰冰的编号机器人更有用，也比假装真人更诚实。

人工通道必须拥有机器没有的能力

如果真人只能重复AI已经给出的答案，客户得到的不是复核，只是换了一种声音。人工升级的意义，在于人可以查看更完整的事实、判断政策目的、批准例外、纠正记录并承担说明责任。

组织应当监测：多少对话请求人工帮助，等待多久，AI在哪些问题上反复升级，客户是否必须重复资料，以及人工是否真的能改变结果。大量升级可能说明系统范围过窄，也可能说明它被放在不适合自动处理的服务位置。

同时，企业不应利用“转人工”作为惩罚，让拒绝AI的客户等待更久或承担额外费用。自动服务可以是便捷入口，但在高后果、复杂处境和无障碍需要中，人类路径必须是服务的一部分，而不是购买高级套餐才获得的特权。

结论：客户有权知道的不是模型名称，而是关系的真实结构

客户通常不需要知道参数数量、供应商版本或技术架构。他需要知道的是：此刻谁在回应，系统依据什么回应，它能否代表公司作出决定，以及怎样找到真正能够负责的人。

因此，最低原则应当是：

当AI直接占据客户交互位置，或者它的身份会影响客户披露、信赖、同意和申诉时，组织应在交互开始前清楚说明AI身份，并在收集资料和接近重要决定时进一步说明用途、权限和人工路径。

披露不是一句免责。它是一种关系设计：让客户在知道对方是什么、能做什么和不能做什么的情况下继续交谈。组织若希望AI获得信任，就不能先通过模糊身份取得信任，再要求客户独自承担误解的代价。

主要资料

继续阅读：浏览《AI进入工作之后》系列文章

了解 Geoffrey Chen 的更多信息

订阅后即可通过电子邮件收到最新文章。