《AI进入工作之后》· 第三季“当AI开始代表组织”· 第五篇
两个客户在同一天访问同一家公司的网站，询问同一种服务。
第一个客户很快看到简明说明、低价方案和“与顾问预约”的按钮。第二个客户看到一份复杂表格、较贵的组合，而且必须先完成资格问卷。两个人都不知道页面不同，更无法比较自己没有看见的版本。
公司可能把这种设计称为“个性化”：AI根据浏览历史、地区、设备、过去购买和预测需求，为每个人安排最相关的内容。它也可能确实帮助客户，减少无关信息并提供更合适的语言与渠道。但同一套机制也能决定谁先获得帮助、谁看到优惠、谁必须提供更多证明，以及谁被引导离开。
问题不在于个性化是否使用了客户资料，而在于它改变了什么。如果AI只是调整表达，风险相对有限；如果它在不透明中改变价格、资格、等待时间或人工帮助，个性化已经变成区别待遇。
先问“什么被个性化”，再问“用了多少数据”
组织常把个性化作为一个功能整体讨论，其实至少有四种不同层次：
| 层次 | 例子 | 主要利益 | 主要风险 |
|---|---|---|---|
| 表达 | 调整语言、字号、内容顺序 | 更容易理解 | 刻板假设、遗漏重要信息 |
| 协助 | 记住偏好、提供无障碍渠道 | 减少重复劳动 | 收集过量资料、错误偏好固化 |
| 推荐 | 排序产品、服务或下一步 | 降低搜索成本 | 隐藏其他选择、商业利益伪装成相关性 |
| 待遇 | 改变价格、资格、优先级或审查强度 | 更细分资源配置 | 不公平差异、代理歧视、无法比较 |
前两层通常可以通过明确选择、方便纠正和最少资料原则得到控制。后两层需要更严格判断，因为系统不只帮助客户理解已有服务，而是在塑造客户能够获得的机会。
“我们没有使用敏感属性”并不能结束分析。邮编、消费模式、语言、设备类型、工作时间和社交行为可能与年龄、残障、族群、收入或家庭状况相关。即使模型从未看到受保护属性，它也可能通过代理变量形成相似区分。
两个相同结果，也可能来自不平等的过程
区别待遇不只体现在最终批准或拒绝。两个人都可能最终买到同一服务，但其中一人需要提交更多资料、等待更久、反复证明身份或从来没有看到低价选项。这些摩擦会改变谁能够坚持完成流程。
因此，个性化审计不能只比较最终转化率。还应比较：
- 显示了哪些选项以及排序；
- 价格、折扣和费用是否不同；
- 要求了多少字段和证明；
- 进入人工服务需要几步、等待多久；
- 哪些客户被反复标记为“高风险”或“低价值”；
- 谁能够纠正画像和重置个性化。
如果组织只优化点击、成交或客服成本，AI会学习最有利于这些目标的区别，而不是最符合公平服务的区别。目标函数没有写下的价值，不会因为模型聪明就自动出现。
澳大利亚AI伦理原则把以人为本、公平、隐私保护、透明度与可争议性列为共同原则。澳大利亚工业、科学与资源部：《Australia’s AI Ethics Principles》 个性化恰好需要这些原则同时运作：服务可以更相关，但不能让客户失去理解、比较和挑战待遇的能力。
“更了解”可能只是更确信一个错误画像
客户资料常被当作客观事实，其实其中混合了观察、推断和历史结果。
“过去三个月没有购买”是记录；“价格敏感”是推断；“不值得转给顾问”则是组织据此作出的处置。三者不能混为一谈。客户可能因为网站不易使用、照护责任或一次错误拒绝而没有购买。模型把结果解释成偏好，再以此减少优惠和帮助，会形成循环：较少机会产生较少参与，较少参与又证明系统原先的低价值判断。
画像还会过期。一个人搬家、换工作、恢复健康或改变语言偏好后，旧推断可能继续决定新待遇。组织若不能说明画像更新时间、允许客户纠正并删除不再需要的推断，个性化就会把过去固定成身份。
澳大利亚隐私原则要求受其约束的实体透明管理个人信息，并对收集、使用、质量和访问纠正承担相应义务。澳大利亚信息专员办公室：《Australian Privacy Principles guidelines》 具体适用范围和法律义务需结合机构与资料判断，但在设计上，一个基本问题始终存在：企业凭什么使用这项资料改变客户待遇，客户又怎样知道和纠正？
推荐不是中立地“找出最佳选择”
当AI推荐服务时，它必须依据某种“最佳”。对客户最便宜、最适合长期需要、最容易理解，还是对企业利润最高？如果系统同时优化客户相关性和商业收入，界面应避免把付费排序或利润偏好包装成纯粹帮助。
这与搜索列表中的广告标识类似：客户需要知道建议是根据他的需要，还是根据公司的销售目标。推荐可以结合两者，但组织应定义不可跨越的边界，例如不得隐藏基础方案、不得让佣金成为唯一排序依据、不得在客户处于紧急状态时利用较低比较能力。
澳大利亚竞争与消费者委员会关于虚假或误导性陈述的指引强调要看整体印象，重要信息的遗漏也可能造成误导。ACCC：《False or misleading claims》 AI个性化的困难在于，每位客户看到的整体印象不同。企业因此需要保留不同版本和排序理由，不能只审查一个“标准页面”。
公平评测需要制造可比较性
个性化使真实客户无法彼此比较，组织必须主动建立比较方法。
一种方法是配对测试：构造除一个可能相关特征外尽量相同的测试资料，观察价格、选项、等待和验证要求是否变化。另一种是群体结果分析：检查不同人群在进入人工服务、获得优惠、被要求补充资料和完成流程方面是否持续有差异。还可以进行路径回放，重建某一客户当时看到的页面、推荐和规则版本。
这些方法都有限。配对测试不能覆盖所有交互，群体平均可能隐藏交叉处境，真实群体资料又会引入隐私风险。因此，公平评测不是一次认证，而是结合设计审查、定期测试、投诉、员工观察和客户研究的持续工作。
NIST AI风险管理框架要求在具体情境中识别受影响群体、预期和非预期用途，并持续测量与管理风险。NIST AI Resource Center：《AI RMF Core》 对个性化系统而言，情境不能只写“提高客户体验”，而要列出哪些待遇可能改变以及谁会承受错误。
给客户选择，但不要把治理责任全部推给客户
一个“关闭个性化”的选项有价值，却不能成为组织使用不公平模型的免责机制。客户往往不知道关闭后会改变什么，也不应为了获得标准价格或人工服务而研究复杂设置。
更好的控制分为三类：
- 组织不可逾越的底线：不因不适当变量改变资格，不隐藏必要信息，不使用无法解释的高后果画像；
- 客户可选择的偏好：语言、内容密度、联系方式、记住的服务兴趣；
- 可复核的推断：当风险评分、价值分类或推荐显著影响待遇时，允许客户要求说明和人工复核。
默认设置也应谨慎。让客户主动寻找关闭按钮不等于自由选择，尤其当系统收集的信息远超完成服务所需。最小化资料不仅降低隐私风险，也减少模型从无关特征中制造差异的机会。
真正有益的个性化，会扩大客户能力
个性化最有价值的用途，通常不是预测谁最值得服务，而是降低客户使用服务的障碍：提供适合的语言、恢复未完成表格、突出与已知需要有关的说明、记住无障碍偏好，并在系统不确定时询问而非推断。
可以用一个方向性测试判断：这项个性化让客户拥有更多理解、选择和完成能力，还是让机构拥有更多筛选、定价和劝服能力？两者并非绝对对立，但如果收益主要来自机构更容易影响客户，而客户无法看见或纠正，风险就明显增加。
这也要求组织把“相关”与“允许”分开。一个变量可能非常善于预测购买，却不一定适合作为服务优先级；一种信息可能能提高利润，却不一定值得为了这个目的收集。数据能够产生区分，不表示机构已经说明这种区分为何正当。
结论：个性化应调整帮助，不应秘密重写权利
AI越了解客户，服务确实可能更方便、更及时和更容易理解。但更多资料也使组织能够以客户难以发现的方式区别价格、选项、摩擦和关注度。
最低原则应当是：
个性化可以改变表达和帮助方式；当它开始改变价格、资格、优先级、验证负担或获得人工服务的机会时，组织必须能够说明使用了什么理由、比较不同群体的待遇、让客户纠正重要推断，并提供不依赖同一画像的复核。
最好的个性化不是让系统悄悄决定“这个人是什么样的人”，而是让客户更容易表达“我现在需要什么”。前者把预测变成身份，后者把技术变成服务。
主要资料
- 澳大利亚工业、科学与资源部：Australia’s AI Ethics Principles
- 澳大利亚信息专员办公室：Australian Privacy Principles guidelines
- 澳大利亚竞争与消费者委员会：False or misleading claims
- NIST AI Resource Center：AI RMF Core
继续阅读：浏览《AI进入工作之后》系列文章
了解 Geoffrey Chen 的更多信息
订阅后即可通过电子邮件收到最新文章。