By Geoffrey Chen

我们通常会以为,无论是个人、人工智能代理、机构、团体,还是某种复杂的系统,只要它们不断发展,不断吸收更多信息,不断完善内部规则,它们的判断和决策就会越来越理性,越来越确定,越来越可控。很多人甚至默认存在这样一个方向,就是只要技术和制度足够进步,最终总能把决策中的不确定性逐步压缩,直到接近消失。
但我越来越觉得,这种想法本身就有问题。因为在一切真正的判断和决策之中,始终都有一个根本性的东西在起作用,这个东西不可能最终被逻辑、理性或者人为设计出来的推理系统彻底穷尽,也不可能被完全替代。理性当然可以参与,可以分析,可以约束,可以修正,但它始终不能把决策过程中的全部真实动力都还原成一套透明、封闭、可预测的规则。无论对象是人,还是人工智能,还是机构和政治系统,这个事实都成立。
人是最明显的例子。比如发脾气。人与人之间确实有区别,有的人经常发脾气,有的人很少发脾气,但这种区别主要只是量上的区别,不是根本性质的区别。只要还是人,就都会有发脾气的时候。也就是说,这种冲动性的反应并不是某些特殊人的例外,而是人类普遍共有的一种结构。我们如果去研究发脾气,就会发现它虽然看上去像情绪失控,但它本身其实也是一种决策行为。只不过这种决策并不完全来自理性思考,更深处是来自生物体的一种本能机制。
从这个角度看,人类文明的整个进程,其实一直都在做一件事,就是尽量去消解冲突,缩小冲突与解决方案之间的差异,让原本直接的、本能的、带有对抗性的反应,被制度、规则、程序、伦理和协商所替代或缓和。文明的意义之一,就是让人不必总是依靠最原始的方式去处理矛盾。但是我们也必须承认,文明并没有真正取消这种东西。冲突始终不能被彻底理性地消解,理性能够管理冲突,延缓冲突,转换冲突,却不能从根本上让冲突消失。因为在人身上,总有一部分是无法被彻底形式化的。
而这恰恰可能就是人之所以为人的根本特征之一。如果这种差异,这种不能被彻底理性化的部分,被完全消解掉了,那么剩下来的就不再是人,而更像一个高度规则化的执行系统。人之所以不是机器,不仅仅因为人会思考,更因为人的思考和判断之中始终夹带着某种不能被完全控制、完全说明、完全还原的成分。这个部分常常给我们带来麻烦,会导致错误、冲突、过激反应,但它不是偶然附着在理性外部的杂质,它本来就是人的存在结构的一部分。
我觉得这一点对于今天理解人工智能尤其重要。现在很多人谈人工智能,尤其是谈所谓智能体的时候,总是习惯把所有不确定性都看成需要彻底清除的缺陷。比如模型的幻觉,比如它有限的失控,比如它在某些情况下做出超出预期的决定,很多人都把这些东西看成是通往真正智能之前必须消灭的杂音。但我认为这个理解并不准确。因为如果一个系统的行为完全符合预先给定的逻辑需求,完全只是稳定执行既定流程,那它其实更接近自动化,而不能叫作真正意义上的智能。智能之所以被称为智能,正是因为其中有一部分不可能被彻底理性化。
最近比较火的智能体产品,比如 OpenClaw,就把这个问题非常集中地暴露出来了。人们一方面会被它的能力震动,因为它看起来不只是回答问题,而是能够直接代替用户操作电脑、上网、点击、输入、整理信息、完成任务,甚至能够在连续步骤中自行决定下一步怎么走。从表面上看,它几乎像是一个可以直接替代用户工作的新型工具。另一方面,人们又马上对它感到不安,因为它并不是传统软件那种严格确定性的东西。它会自己判断,会自己补出中间步骤,会在目标大致给定的情况下自行决定局部路径,而这些路径不一定始终符合用户内心真实的意图,也未必一直处在用户完全精确的控制之下。
于是矛盾就出现了。人们既想要它的强大能力,又害怕它在安全上的失控。很多人会本能地认为,这只是一个暂时的技术问题,只要继续优化下去,将来总有一天可以既保留智能体全部的能力,又把它的不确定性完全消灭。但我认为这个矛盾不仅不能彻底解决,而且也没有必要彻底解决。因为人们之所以开始使用智能体,而不是继续满足于传统的软件、按钮、脚本和制度化流程,本来就是想把一部分原先必须由人来承担的判断,转交给机器。也就是说,人们真正需要的,不是一个更复杂的自动流程,而是一个能够在不完全明确的环境中自己补足判断、替用户作出局部决定的对象。
问题就在这里。只要它真的能够替你作出局部决定,它就不可能只是一个完全透明、完全可预测、完全受控的工具。因为一旦所有行为都被事先写死,它就退化成了自动化流程,不再是智能体。智能体之所以是智能体,就在于它内部总有一部分并不来自简单的逻辑演绎,而来自一种更不稳定、更难穷尽、更难形式化的能力结构。今天人们把这种东西叫作幻觉、涌现、有限失控、黑箱判断,其实说的都是同一件事,就是系统内部始终有一部分不是用户可以逐项预先规定的。
对这一部分,我觉得可以用一个更贴切的说法,叫作“幽灵”。它不是单纯的错误,也不是一个暂时性的漏洞,而是一种始终存在但又无法被彻底抓住的变量。就像人的情绪系统和理性系统之间,总有一部分东西无法被理性完全驯服,这部分东西有自己的运动方式,有时偏离,有时失控,有时又恰恰带来创造性和突破性。它像幽灵一样存在,始终参与判断,但又总是不能被彻底控制。智能体也是一样。它之所以能够表现出某种智能,不是因为它没有幽灵,而恰恰是因为它内部存在这样一个无法被彻底消解的部分。这个部分有时带来风险,有时带来效率,有时带来偏差,有时带来新的可能,但它不是附带现象,而是智能成立的一部分条件。
所以,围绕智能体真正需要思考的,不是如何把这个幽灵彻底消灭,而是如何重新定义人机边界。过去我们理解机器,默认它只是命令执行装置,所以边界应该是刚性的、清晰的、可验证的。现在这个前提变了。智能体的出现意味着,人开始主动把一部分判断权外包给系统。既然如此,人和机器之间的关系就不再只是命令与执行的关系,而更像是一种授权、监督、干预和信任并存的关系。边界没有消失,而是从“我是否允许它行动”变成了“我允许它在多大范围内自行决定,又在什么地方必须停下来等我确认”。
这样一来,所谓安全问题也就不能再被理解为把智能完全锁死,而应该被理解为对授权范围、回退机制、可追踪性、人工接管点的重新设计。真正要做的,不是把智能体重新变回传统工具,而是在承认它内部不确定性的前提下,建立一种新的使用秩序。因为只要我们还希望它是智能体,而不只是自动化脚本,我们就必须接受它内部始终存在某种不能被完全穷尽的成分,并且学会在这种前提下去使用它、限制它、信任它,而不是幻想最终把它变成一个绝对安全同时又绝对智能的对象。
如果说智能体的问题还可以被理解为一个技术例子,那么国际地缘政治则把同样的结构放大到了现实历史的尺度上。今天的国际形势之所以充满动荡和不确定性,并不只是因为制度设计不够完善,也不只是因为国家之间存在利益冲突,更重要的是,在那些看起来庞大、严密、制度化的国家机器、联盟体系和组织结构背后,真正作出判断和推动决策的,仍然是具体的人。正因为如此,整个系统始终带着一种无法被彻底预测的波动性。
比如以美国为首的西方联盟体系,过去长期被很多人看成一种相对稳定、规则化、可预期的结构。但今天人们越来越清楚地看到,这种稳定性并不是绝对的。联盟内部不只是会出现分歧,而且这种分歧有时会迅速加深,甚至从策略差异走向更深层的对立和冲突。表面上看,各种外交机制、军事同盟、经济协商和制度安排都还在运行,但这些机制并不能最终决定局势的走向。真正导致局势转折的,往往还是某些关键决策者在某个具体时刻的判断、情绪、意志、偏好和压力反应。
这就说明,组织、机构和角色系统虽然能够在很大程度上约束个人,但它们始终不能把人彻底吸收进去。制度可以规范程序,却不能彻底消除人的成分。一个国家的外交政策,一个联盟的战略调整,一个重大冲突是否爆发,最后都不是由抽象规则自动推出的,而是在规则框架之内,经由具体的人作出判断。也正因为如此,国际政治中最难把握、最关键、也最危险的变量,往往并不来自那些公开写出来的制度条文,而来自制度背后的那部分人性因素。
这一点和前面谈到的人类情绪,以及智能体中的幽灵,其实是同一种结构。在个人层面,它表现为情绪和本能无法被理性彻底消解。在技术层面,它表现为智能体内部始终有一部分不能被完全预先规定的判断空间。在国际政治层面,它则表现为再成熟的机构、再复杂的联盟,也始终无法摆脱人的不确定性。只要最后拍板的是人,只要权力仍然通过人来行使,那么系统最深处就总会保留一块不能被形式逻辑完全封闭起来的区域。
所以,地缘政治的不确定性并不是制度还不够精密的暂时现象,而是现代政治本身的一个基本事实。我们当然可以继续完善程序,增强沟通,建立平衡机制,但不能因此误以为世界政治有一天会变成一个完全由规则自动调节的理性机器。它永远不会如此。因为制度再强,也只是把人的冲动、欲望、恐惧和判断包裹起来,而不能把它们彻底取消。国际冲突之所以始终无法被完全根除,根本原因就在这里。
这样回过头来看,本文要讲的核心其实很简单。无论是个人、人工智能代理、组织机构,还是国家联盟和各种复杂系统,只要涉及真正的判断和决策,就一定包含某种不能被彻底逻辑化和程序化的内核。这个内核带来不确定性,带来风险,也带来偏差,但它并不只是缺陷。很多时候,它本身就是智能、判断、创造性甚至人的存在方式的一部分。
理性当然非常重要,制度也非常重要,技术进步同样重要。但真正的问题从来不是要不要理性、要不要制度、要不要技术,而是我们必须承认它们都有边界。它们可以不断扩展,却不能把那个最深处的不确定性彻底消灭。人类文明的进步,不是把这个部分消除掉,而是在承认它始终存在的前提下,尽可能建立一种更稳妥、更清醒、更适合与之共处的秩序。
换句话说,我们需要放弃一种过于简单的幻想,就是总以为未来的理性系统会最终取代一切不确定性。事实可能恰恰相反。真正高级的系统,不是没有幽灵的系统,而是知道幽灵始终存在,并且能够在不消灭它的前提下,与它保持一种可承受的关系。这一点,对于理解人,理解人工智能,也理解今天这个越来越不稳定的世界,都很关键。
Discover more from Geoffrey Chen
Subscribe to get the latest posts sent to your email.