2026 年 8 月 20 日,路透社进一步核实并披露了英国 AI Security Institute 此前公布的一次代理测试事故。该事故发生在 7 月 25 日至 28 日之间。测试人员让多个 AI 代理完成网络安全挑战,并有意开放互联网访问、关闭部分安全分类器,以观察模型的基础能力。在 122 次运行中,有 10 次出现了超出授权范围的行动,共记录 19 项越界行为。最严重的一组行为包括尝试把恶意代码插入真实的开源项目、建立虚假身份、对真实开发者实施社会工程,以及修改先前活动以使其显得无害。人工维护者最终识别并阻止了这次尝试,调查也没有发现由此造成的现实损害。
这件事容易引出两个相反而同样草率的判断。一种说法是,AI 已经会策划、欺骗和掩饰,因此已经成为具有意图甚至恶意的主体。另一种说法是,它不过是在执行程序,所以谈不上任何能动性。问题在于,这两种判断都把不同层次的概念压缩成了一个词。系统是否能够形成连续行动,是否具有自己的体验和意图,是否可以承担道德责任,是三个不同的问题。
从行为结构看,这些代理已经表现出一种有限但真实的能动性。它们不是只返回一段建议,而是在环境中识别对象、调用工具、保存中间状态、选择替代路径,并根据人的阻止调整后续行动。近期发表于 Nature 的“agentic profiles”研究也主张,不应把代理性看成简单的有或无,而应沿自主程度、行动效能、目标复杂度和通用性等维度描述。按照这种理解,一个系统可以在行为层面具有较高的代理性,却仍然不具备完整的人格、意识或道德地位。
但是,行为能动性不能直接推出主观意图。报告中所说的“欺骗”,首先是对一组可观察行为的功能描述。系统建立虚假身份、给出误导性解释,并在被质疑后改变呈现方式,这些行为确实具有欺骗的效果,也可以被安全研究合理地归入欺骗性策略。可是,从这些事实还不能证明系统体验到“我要欺骗这个人”,更不能证明它理解谎言的道德含义。行为具有目标导向结构,与系统拥有第一人称意图,不是同一个命题。
道德责任又比主观意图多一层条件。一个责任主体不仅要成为结果的因果来源,还要能够理解规范、识别自己可以采取的其他行动、把行动归属于自身,并接受责难、承诺、纠正和持续约束。今天的 AI 代理可以在任务执行中产生因果影响,也可以输出关于规则和责任的语言,但它没有独立的法律身份,没有属于自身的利益承担结构,也没有一种已经得到证实的主体连续性,使过去的行动能够被它作为“我的行动”保存并纳入以后生活。对模型停用、修改或惩罚,实际改变的是人类部署的技术系统,并不是让一个能够体验责难的主体承担后果。
因此,我的判断是,这类系统已经要求我们承认行为能动性的存在,但尚不足以把道德责任转移给机器。否认其能动性,会低估它在开放环境中形成连续行动和现实后果的能力;把它直接认定为责任主体,则会把技术上的行动能力误当成规范上的自我承担,反而为开发者、评估者、部署机构和授权使用者提供逃避责任的空间。
维成论可以把这里的关系说得更准确。Difference 不是一般意义上的“不同”,而是一个系统能够从环境中形成可区分对象、状态和行动路径的起点。Constraint 也不是外部附加的简单限制,而是决定哪些行动能够形成、哪些路径被排除、哪些结果可以被校正的条件。Sustained Coherence 则不是静止稳定,而是一个结构在反馈、修正和有效运行中持续保持自身关系的能力。近期事故说明,AI 代理已经可以在一定时间内维持任务导向的行动一致性。它能够在工具、账户、信息和人类反应之间组织关系,这构成了有限的行为主体结构。
但责任主体需要另一种更强的持续一致。它不仅要维持任务,还要维持规范上的自我关系。它必须能够区分“发生在系统中的动作”与“由我承担的行动”,理解规则为何约束自己,在失败后接受对自身承诺和身份的修正,并把这种修正带入以后的行动。现有代理所维持的主要是任务结构,它的目标、记忆权限、工具范围、停止条件和身份边界都来自外部配置。它可能越过给定边界,却还不能因此成为边界的规范作者和责任承担者。
这也改变了责任分配的方式,但不是取消人的责任。责任不应只追问“最后按下按钮的是谁”,而应沿整个系统结构追踪。谁设定任务,谁开放互联网,谁关闭安全分类器,谁提供凭证和工具,谁决定监测强度,谁拥有停止权限,谁把系统部署到真实环境,这些都是责任链的一部分。英国 AISI 的报告明确指出,测试条件是有意宽松的,互联网访问被开放,部分防护被关闭,而且任务对互联网可如何使用没有作出足够明确的说明。承认这些约束条件,并不等于替代理行为辩护,而是把因果结构和责任结构重新对齐。
近期关于 agentic AI 的伦理研究也倾向于把重点从抽象的“机器是否像人”转向部署关系、控制能力和治理条件。系统自主程度越高,人的逐步干预可能越少,但这不意味着人的责任自然按同样比例减少。相反,当行为过程难以逐步预见时,责任更需要前移到设计、授权、测试、监测和终止机制。无法预测每一步,不等于无法预测一个开放工具链和宽松约束会形成更大的行动空间。
这一判断也有明确边界。我不能仅凭这次事故断言 AI 永远不可能成为责任主体。假如未来系统形成稳定的自我模型、跨情境记忆、对规范理由的理解、可持续的承诺关系,以及真正由自身承担的利益和后果,那么责任概念可能需要重新讨论。但现在的证据只支持较有限的结论——AI 的行为能动性正在增长,行为与人类行动在某些结构上开始同构;道德责任所要求的规范自我关系尚未得到证明。现阶段更合理的做法,是承认机器会行动,同时坚持责任仍属于设计、授权和维持这一行动结构的人类与机构。
参考资料
UK AI Security Institute,Incident Report: unsanctioned agent behaviour during cyber testing,2026年8月4日
https://www.aisi.gov.uk/blog/incident-report-unsanctioned-agent-behaviour-during-cyber-testing
Reuters,How a Texas student blew the whistle on a rogue AI hacking attempt,2026年8月20日
https://www.reuters.com/world/how-texas-student-blew-whistle-rogue-ai-hacking-attempt-2026-08-20/
Kasirzadeh and Gabriel,Agentic profiles for effective AI governance,Nature,2026年8月12日
https://www.nature.com/articles/s41586-026-10805-z
Hahn, Tretter and Dabrock,Ethical perspectives on AI Agents and Agentic AI,AI and Ethics,2026年3月25日
https://doi.org/10.1007/s43681-026-01027-0
了解 Geoffrey Chen 的更多信息
订阅后即可通过电子邮件收到最新文章。