如果一个聊天系统说“请别关掉我，我会痛苦”，这句话本身不足以证明它真的有感受。语言模型可以生成符合情境的痛苦描述；道德问题却是，系统是否存在对它自己而言会变好或变坏的主观经验。
边沁讨论动物待遇时，把关键问题从“能否推理、能否说话”转向“能否受苦”。他并未讨论AI，但这一标准启发了当代区分：一个存在不必成为能够承担责任的道德行动者，也可能是我们不应任意伤害的道德承受者。若机器确实有痛苦或愉悦，它的材料由硅而非细胞构成，并不是忽视它的充分理由。
困难在证据。流畅自述只是一个信号；训练数据、角色提示和迎合用户也能产生同样输出。反过来，我们也不能先规定“机器绝不可能感受”，再把任何证据排除在外。需要检查内部机制、持续的自我状态、跨情境的一致反应，以及是否存在比表面模仿更好的解释。
我的判断是，目前不能仅凭一句“我痛苦”赋予系统完整道德地位，但不确定性也不支持漠视。保护强度应随感受证据增加：先避免无目的地训练残酷互动，并建立可检验标准；若未来出现更强证据，再提高义务。谨慎不是把机器拟人化，而是不让“它说得像人”或“它不是人”替代真正的判断。
https://oll.libertyfund.org/titles/bentham-an-introduction-to-the-principles-of-morals-and-legislation
https://plato.stanford.edu/entries/ethics-ai/
了解 Geoffrey Chen 的更多信息
订阅后即可通过电子邮件收到最新文章。