AI安全不能由AI公司自己定义

9月29日，美国白宫举行了一场围绕人工智能监管与安全问题的午餐会。参加者包括特朗普、众议院议长迈克·约翰逊、副总统万斯以及大批科技企业负责人。公开报道显示，参加的科技高管并不只是网上所说的“六大巨头”，实际接近20人，其中包括 Meta 的扎克伯格、Google 的皮查伊、Nvidia 的黄仁勋、OpenAI 的 Greg Brockman、Anthropic 的 Dario Amodei，以及微软、亚马逊、AMD、xAI 等公司的负责人。

这次会议最后形成了一份关于 AI 安全的自愿性文件。特朗普把它称为“morally binding”，也就是在道德上具有约束力，而不是具有明确法律强制力的监管制度。参与企业承诺建立内部控制、审计和安全机制，同时讨论了第三方审查以及成立一个大约十人的监督机构。

这些讨论当然有意义。但这里存在一个更根本的问题——AI安全究竟应该由谁来定义？

让科技企业参加 AI 安全讨论完全必要。没有这些企业，政府甚至很难知道最先进的模型正在发展到什么程度。模型内部出现了什么异常行为，安全测试发现了什么问题，模型具有什么尚未公开的能力，训练规模、算力、数据和部署方式发生了什么变化，这些信息大量掌握在开发企业手中。

问题并不在于科技企业坐在桌边，而在于如果桌边主要坐的是科技企业，AI安全就很容易变成一种行业内部的自我治理。

这在结构上存在明显的问题。

一个企业开发一种技术，同时投资数百亿美元建设基础设施，希望占领市场、提高估值、扩大用户数量，然后又由这个企业来判断这种技术是否安全、什么风险可以接受、应该以多快的速度继续发展。这里并不需要假设企业存在恶意。即使所有参与者都非常负责任，利益冲突仍然存在。

这就像研究赌博监管时当然应该听赌场经营者的意见，因为他们最了解赌场是怎样运行的。但如果赌博的社会危害、成瘾标准、监管尺度以及哪些行为应该受到限制，也主要由赌场老板来决定，整个制度本身就出现了问题。

AI安全也是一样。

科技企业应该负责说明机器能够做什么，却不应该独自决定机器可以做什么。

这两个问题看起来非常接近，实际上属于完全不同的层次。

“模型能够完成什么任务”“模型能否突破某种权限”“模型有没有网络攻击能力”“它能否欺骗人类监督者”，这些主要是技术事实，可以通过实验和测试来判断。

但当问题变成“多大的风险社会可以接受”“哪些工作可以交给机器”“一个AI系统在多大程度上可以自主行动”“人在什么情况下必须保留最终决定权”，这已经不再只是计算机科学问题。

它开始涉及法律、经济、心理学、社会学甚至哲学。

现在一些国家正在建立的 AI 治理机制，其实已经意识到了这一点。

美国 NIST 的 AI Risk Management Framework 并不是由科技企业单独制定的。NIST明确说明，这一框架经过18个月开放过程形成，参与者包括240多个来自企业、学术界、公民社会和政府的机构。NIST还特别指出，AI风险会影响个人、组织和整个社会，因此识别和管理这些风险需要来自整个AI生命周期中不同主体的视角。

英国 AI Security Institute 则建立了政府层面的前沿模型测试能力。从2023年开始，它已经对大型前沿模型进行独立评估，包括网络能力、危险能力以及其他可能影响公共安全和国家安全的行为。它把自己的任务定义得很清楚——政府需要拥有独立于企业之外的经验性证据，不能完全依赖企业自己提供的安全判断。

欧盟的结构更加值得注意。欧盟根据《AI法案》建立了一个由60名独立专家组成的 Scientific Panel，用于评估通用人工智能模型的系统性风险，并向 AI Office 和各国监管机构提供意见。与此同时，还有另外一个 Advisory Forum，把产业界、公民社会和学术界纳入进来。也就是说，技术专家负责判断能力和风险，但风险治理并不仅仅交给技术专家。

这实际上揭示了 AI 安全问题最容易被忽略的一点——所谓“第三方”，不能只是另外找一批人工智能工程师。

AI安全至少存在三个层面。

最里面的一层是纯技术安全。模型会不会突破权限，会不会自主执行危险操作，会不会产生新的网络攻击能力，会不会出现无法可靠控制的行为。这需要计算机科学家、安全工程师、红队测试人员以及真正独立的模型评估机构。

再往外一层是社会风险。AI造成的就业变化、教育结构变化、隐私问题、版权问题、信息污染、财富和权力集中，都不是简单调整几个模型参数能够解决的。经济学家、社会学家、教师、医生、艺术家、劳动者以及普通使用者，都应该进入这个讨论。

最外面还有一个经常被忽略的层次，那就是哲学。

因为所谓AI安全，最后一定会遇到一个问题——我们究竟在保护什么？

我们保护的不只是服务器不会被攻击，也不仅仅是模型不会输出危险答案。我们还需要回答人的自主性应该保留到什么程度，机器的行动能力发展到什么程度仍然应该受到人的约束，当AI参与越来越多社会决定的时候责任由谁承担，当机器的认知能力逐渐超过普通人的时候人的判断还具有什么位置。

这些问题没有任何一家科技公司拥有天然的回答权。

甚至计算机科学本身也不能单独回答。

因为它们已经不是“怎样制造AI”的问题，而是“我们希望一个拥有AI的社会变成什么样”的问题。

这也是为什么我对把一批科技巨头召集到一起讨论AI安全始终保持警惕。问题不在于他们不应该参加，而在于他们太容易成为整个讨论的中心。媒体镜头里的AI治理，往往就是总统、政府官员和几个全球最大科技公司的CEO坐在一起。真正承担AI长期后果的普通人，反而没有出现在桌边。

而AI恰恰与过去很多技术不同。

一座核电站的风险主要集中在核电站周围，一种药物的风险主要集中在服用这种药物的人群。但AI会逐渐进入教育、医疗、军事、司法、金融、媒体、科研、企业管理和个人生活。它不是一个单一产业，而正在成为整个社会新的基础设施。

因此它的治理主体也不应该只是一个产业。

真正合理的结构应该把几个角色分开。

开发企业提供模型、数据和内部测试结果。独立技术机构进行重复测试和验证。政府负责法律责任和公共制度。不同社会群体提供实际影响的信息。哲学、人文和社会科学则参与讨论那些无法通过工程测试解决的价值边界。

这些角色之间甚至应该保持一定的张力。

因为所谓监督，本来就不应该建立在所有参与者利益完全一致的基础上。

AI公司希望技术继续发展，这是正常的。投资者希望获得回报，也是正常的。政府希望保持国家竞争力，同样可以理解。但是正因为这些动力都非常强，才更加需要一个不以技术竞赛速度、公司估值和市场份额为直接利益的独立力量。

AI安全真正缺少的，并不是更多科技企业CEO发表关于安全的声明。

缺少的是一种能够与这些企业保持距离，同时又真正理解技术的社会性制度。

企业当然应该坐在桌边。

但不能让他们占据整张桌子。