如果一个分数可以拒绝你，它是否也必须允许你申诉？

Geoffrey Chen

《当数字开始做决定》· 第一季“门槛线两边的人”· 第十二篇

一、Robodebt没有先问：这个数字足以证明一笔债吗？

一名领取澳洲社会保障金的临时或兼职工作者，可能有几周工作很多，另一些周完全没有收入。福利资格按每个fortnight的实际收入计算；税务局取得的PAYG资料却通常只记录较长期间的收入总额。

Robodebt安排把这笔总收入平均分配到相关fortnight，再与领取人当时向Centrelink申报的收入比较。如果当事人没有回应、提供资料不完整，系统可能用平均数填补空白并据此提出债务。原先由合规人员完成的部分取证和判断，被转移给线上流程；当事人则需要寻找多年以前的工资单或雇主记录，去反驳政府已经生成的数字。Commonwealth Ombudsman：《Centrelink’s Automated Debt Raising and Recovery System》

平均数可能在数学上算得完全正确，却不能证明某一个具体fortnight实际赚了多少钱。年度总额除以期间长度，回答的是“平均每期多少”，社会保障法需要回答的却是“这一期实际多少”。两者不是同一个事实。

后来，相关收入平均方法被确认缺乏法律基础，Robodebt也成为皇家委员会调查对象。皇家委员会在2023年建议：政府使用自动决策时，应有清楚的复核路径，以通俗语言公开自动流程，并使业务规则和算法接受独立专家审查；还应考虑设立或扩展机构，对自动决策的技术运作、公平、偏差和使用体验进行监督与审计。Royal Commission into the Robodebt Scheme：Final Report, Recommendations 17.1–17.2

Robodebt并不是今天常说的机器学习“风险评分”。它主要依靠数据匹配、平均计算和规则自动化。但正因为方法并不神秘，它更清楚地说明了本季的中心问题：危险不只来自黑箱算法。一个普通计算只要被制度授权去拒绝、追债或改变权利，也必须受到解释、复核和纠错的约束。

二、拒绝你的，究竟是数字还是机构？

“算法拒绝了我”是一种可以理解却不够准确的说法。分数没有法律人格，也不会自己选择门槛。真正的决定链通常包括：

  1. 一个机构确定政策目的；
  2. 数据提供者记录或推断个人信息；
  3. 设计者选择变量、公式、训练资料或业务规则；
  4. 决策者设定门槛，并把越线与某种后果连接；
  5. 软件大规模执行；
  6. 工作人员、法官或平台接受、覆盖或维持结果。

责任可能分散，却没有因此消失。政府不能说“系统算的”，银行不能只说“模型认为风险太高”，大学也不能用“排名已经生成”结束说明。采用数字的人必须对采用行为负责。

这可称为“没有个人掌握全貌的知识”：资料、规则和执行分布在不同机构与技术环节中，系统仍能稳定地产生结果。它提高速度和一致性，也容易产生一种“没有理解的权威”——每个参与者只知道自己的一小段，但输出却以完整判断的姿态落到个人身上。

申诉的第一项功能，就是重新建立责任的地址。受到影响的人需要知道，不只是“哪个数字出了结果”，而是哪个机构拥有改变决定的权力，谁必须说明理由，谁能修正输入，谁对系统性错误负责。

三、解释不等于申诉

很多制度声称自己已经透明，因为它告诉申请人：“你的分数低于标准”“收入超过上限”或“系统将你列为高风险”。这只是结果通知，不是理由。

一份足以支持申诉的解释，至少要回答四层问题：

  • 输入层：用了哪些属于我的资料，资料来自哪里，参考期是什么；
  • 测量层：这些资料被转化成什么分数、等级或推断，它实际测量什么；
  • 门槛层：通过线在哪里，为什么使用这条线，有哪些例外和裁量；
  • 决定层：数字在本案中承担什么作用，哪些其他理由共同导致结果。

即使这四层都说明了，也还不等于可以申诉。解释让人知道发生了什么；申诉使人有机会改变错误结果。一个系统可以非常坦白地说明它如何拒绝你，却完全不给重新判断的渠道。

2025年更新的澳洲《Automated Decision-making—Better Practice Guide》正因为看见了这个差别，要求自动系统不要妨碍个人取得决定理由或机构所持资料，通知应列明挑战或上诉渠道，系统还应保存可供内部和外部复核理解的推理与审计记录。指南也要求在上线前建立大规模错误的补救方案，而不是等错误影响成千上万人以后才设计处理办法。Commonwealth Ombudsman：《Automated Decision-making—Better Practice Guide》

四、有效申诉必须能够检查六种不同问题

本季前十一篇反复显示，人们笼统地说“数字错了”时，实际可能在谈六种不同错误。

1. 输入是否准确

信用报告写入了不属于本人的账户，福利系统使用错误税务年度，风险评估记录了错误刑事历史——这些属于数据准确性。有效程序应允许查看、纠正并追踪资料来源。

2. 数字是否测到了相关事实

CPI可以准确测量一篮子商品的平均价格变化，却不等于某个家庭的生活成本；年度平均收入也不能证明每一fortnight的实际收入。此时输入和算术都可能正确，测量对象却与决定所需事实不一致。

3. 门槛是否有正当理由

血液酒精浓度0.05把连续风险转换为可执行法律边界；ATAR 90.00可以成为有限学位名额的管理线；福利收入线也使预算和资格可操作。申诉不一定能由个案人员改写门槛，但制度必须公开门槛由谁制定、目的是什么、证据和取舍为何。

4. 后果是否与数字能力相称

急诊分诊等级适合安排就诊顺序，不是完整诊断；COMPAS群体风险评分可辅助监督规划，不应单独决定监禁或刑期。一个工具能提供相关信息，不等于它有能力承担最终后果。

5. 程序是否让当事人真实参与

通知寄到旧地址、线上系统无法使用、说明充满术语、举证要求超过个人现实能力，都可能使纸面上的复核权失效。程序公平不只在于入口存在，也在于人能否实际进入。

6. 错误发现后能否真正补救

撤销错误记录、恢复资格、停止追债、退还款项、重新安排机会以及在适当情况下赔偿，都是补救的一部分。只在数据库里把状态改成“已处理”，却不恢复损失的权利，不是完整纠错。

把六种问题分开很重要。否则，机构可能用“数据没有算错”回避测量无效，用“门槛依法制定”回避后果过重，或用“可以投诉”回避复核者没有改变决定的权限。

五、什么才算一次真正的人工复核？

“human in the loop”经常被当成自动决定的安全保证，但有人参与不一定产生判断。

如果复核人员只看到系统给出的红色警告，没有原始资料；如果绩效目标要求几分钟内处理一案；如果推翻模型必须取得层层批准；如果人员不理解分数的限制；或者所谓复核只是把相同输入再次送入相同程序，那么人工只是自动结果的橡皮图章。

真正的人工复核至少需要：

  • 复核者有权改变、撤销或暂缓原决定；
  • 能看到原始输入、计算路径、适用规则和模型限制；
  • 能接受当事人的新资料与说明；
  • 不因推翻系统而受到不合理惩罚；
  • 必须提出自己的理由，而不是重复输出标签；
  • 在高风险案件中，与原决定者或系统运营团队保持适当独立。

人工判断的价值不在于人天然比模型准确。人也会偏见、疲劳和前后不一。它的关键价值在于：有人能够面对模型没有编码的事实，比较相冲突的理由，并对最终选择承担责任。这是计算无法替机构完成的“人的剩余承诺”。

六、个人申诉之后，错误必须返回系统

Robodebt还揭示了另一种更深的失败：个人复核可以成功，制度却不一定学习。

澳洲联邦法院一篇总结Robodebt与行政复核改革的公开演讲指出，2016至2022年间，原Administrative Appeals Tribunal的第一层复核作出431项质疑收入平均是否足以证明实际收入、超付或债务的决定。一些决定认为这种方法违法。然而第一层决定不公开，机构也没有把这些不利结果有效转化为全系统修正。皇家委员会后来建议公开具有重要法律或政策意义的第一审社会保障决定。Federal Court of Australia：Justice Kyrou, “Mechanisms in the ART Bill to thwart Robodebt-type maladministration”

这说明申诉有两种作用。第一种是个案纠错：把某人的债取消、资格恢复或记录修正。第二种是制度学习：发现同一规则正在持续制造同类错误，并停止继续复制。

如果一百个人分别胜诉，第一百零一个人仍收到同样错误决定，复核制度只是在逐案清理自动化产生的损害。真正的纠错必须把复核结果反馈到业务规则、模型版本、培训、通知模板和过去案件中。必要时还应主动寻找所有受影响者，而不是等待每个人自行发现并提出申请。

七、一个有权拒绝人的数字，最低应满足什么条件？

并非每个数字都需要同样昂贵的审查。音乐推荐排错一首歌，与风险评分影响自由、福利计算产生债务，不应采用相同程序。后果越严重、越难逆转、当事人越难自行避开，保障就应越强。

对于会显著影响资格、机会、财产、医疗、安全或自由的数字化决定，我认为最低标准可以归纳为八项：

  1. 目的明确：制度先说明要判断什么，不能先收集大量资料再寻找用途。
  2. 法律与责任明确：有合法授权，并指定对决定和系统负责的机构与人员。
  3. 测量可验证：公开变量意义、资料来源、验证方法、错误范围和适用人群；商业秘密不能阻断独立审计。
  4. 门槛可辩护：说明界线依据、制度取舍、例外以及为什么后果与可靠程度相称。
  5. 个案理由可取得：受影响者知道本案用了什么资料、哪一步触发不利结果，以及数字只是辅助还是决定性条件。
  6. 复核真实有效：允许纠正资料、补充情境并由有权改变结果的人重新判断；复核不能只是重复同一计算。
  7. 补救及时完整：在债务、驱逐、停付或自由限制等可能造成不可逆损害时，设有适当暂停机制；错误确认后恢复权利、退款并处理连带损失。
  8. 系统持续学习：记录推翻率和不同群体结果，独立审计，定期复验，并把个案错误追溯到所有同类决定。

澳洲现行政策已经出现部分对应安排。2025年12月生效的联邦政府负责任使用AI政策2.0，要求适用机构指定负责人员、建立内部使用案例登记、进行影响评估并发布透明度声明。Digital Transformation Agency：Policy for the responsible use of AI in government 2.0 从2026年12月10日起，Privacy Act关于自动决策的新透明度条款还将要求适用实体在隐私政策中披露某些显著影响个人权利或利益的自动决策及所用个人资料类型。OAIC：APP 1 automated decision-making obligations

这些是重要进展，但登记、隐私政策和透明度声明仍不自动等于个案申诉权。知道机构使用AI，与能够要求它改变一项拒绝决定，是两件不同的事。

八、申诉也有边界，但边界必须说清楚

申诉不保证每个人最终获得想要的结果。大学名额有限，复核可以纠正成绩和程序，却不能凭空增加同一课程席位；福利门槛由法律设定，复核者可以改正收入计算，却不能在没有授权时自行废除门槛；法院可以纠正风险评分的错误使用，也不能因此忽略依法相关的犯罪事实。

有效申诉所保证的是：决定依据正确事实和合法规则作出；相关理由受到真实审查；错误有办法改变结果。它不是无限重做，也不是把所有不满意都变成胜诉权。

行政决定尤其需要分清几条路径。资料更正解决输入错误；内部复核重新考虑机构决定；merits review重新审视事实、法律和政策并作出正确且较优决定；judicial review主要检查合法性。投诉和监察可以揭示服务或系统问题，却不总能替代有权改变个案结果的复核。对当事人而言，一封好通知必须说明该走哪一条路，而不是笼统写“如有疑问请联系我们”。

以Centrelink为例，申请人通常先向Services Australia的Authorised Review Officer申请正式复核；许多决定之后可由Administrative Review Tribunal重新审查。ART说明，它会重新看相关事实、法律和政策，并作出自己的决定。Administrative Review Tribunal：Applying for a review 这正体现了复核与重复计算的区别。

结论：决定权与申诉权必须一起设计

这一季从失业统计的一小时、CPI、ATAR、NAPLAN、0.05酒驾线，一直写到信用分、急诊等级、火险指数、1.5°C、福利门槛和司法风险评分。它们的功能并不相同。有些数字主要描述世界，有些协调公共行动，有些排序稀缺资源，有些直接改变个人权利。

共同问题不是数字是否完美。任何制度工具都会压缩现实，也都会有误差。真正的界线在于：制度给了数字多大的决定权，同时给了受影响者多大的解释与纠错权。

因此，对标题中的问题，我的回答是肯定的：

如果一个分数、等级、分类或计算可以拒绝一个人，它就必须同时开启一条与后果相称、能够真正改变错误结果的申诉路径。

不是因为每个拒绝都错，而是因为制度承认自己可能错；不是为了让人类在技术之后象征性签字，而是为了让责任仍有承担者；也不是反对大规模自动化，而是防止错误以同样规模、同样速度和同样不可见的方式扩散。

现代制度不能没有数字。但数字承担的决定权不能超过它的测量能力，决定造成的后果也不能超过制度能够解释、复核和纠正的能力。申诉不是数字化决定之后附加的客服功能。它是这项决定获得正当性的组成部分。

主要资料

了解 Geoffrey Chen 的更多信息

订阅后即可通过电子邮件收到最新文章。