AI 风险不在自我觉醒，而在失去约束的系统放大

最近关于 AI 风险的讨论又多了起来，其中一种说法是，AI 可能很快进入不需要人类参与的自我进化状态，所以人类应该暂停 AI 开发。这个说法很容易引起恐慌，因为它把 AI 描述成一种正在脱离人类控制的独立主体，好像只要模型足够聪明，它就可以自己维持自己、改进自己，最后变成一个不再依赖人类的系统。

我觉得这个判断需要拆开来看。AI 的风险当然是真实的，但如果把风险简单理解为“机器觉醒并独立进化”，这个说法就太粗糙了。AI 不是悬浮在虚空中的智能灵魂，而是一个依赖能源、芯片、数据中心、冷却系统、网络、供应链、工程师维护和人类组织结构才能持续运行的复杂系统。

从负熵的角度看，一个系统要维持有序，就必须不断从外界获得能量、资源和约束。生命如此，社会如此，AI 系统也如此。数据中心需要电力，芯片会老化，模型需要数据，运行需要反馈，目标需要设定。离开这些外部条件，AI 不可能作为一个整体系统自动维持自身存在，更谈不上完成总体意义上的自我进化。

但这并不意味着 AI 完全没有自我强化的风险。复杂系统内部并不是均匀分布的。一个系统在整体上依赖外部输入和约束，但在局部区域，某些能力仍然可能被快速强化，某些反馈回路也可能形成自我放大。局部熵减和整体依赖并不矛盾，这恰恰是复杂系统最需要警惕的地方。

例如，一个 AI 系统不可能自己生产芯片、建设电网和维护数据中心，但在已经有人类提供算力、数据、工具权限和持续反馈的条件下，它完全可能在某些局部任务上快速强化。它可能越来越擅长生成代码、发现漏洞、操纵语言，也可能在自动化流程中形成难以预测的反馈循环。

这不是科幻意义上的“机器觉醒”，而是复杂系统内部的局部收敛与局部放大。它不需要 AI 拥有主观意志，也不需要 AI 变成生命体。只要目标函数、数据输入、奖励机制和执行权限形成闭环，局部风险就可能出现。

所以，真正的问题不是 AI 会不会作为完整主体自动进化，而是人类在哪些地方给了它过强的局部能力，却没有建立相应的约束。一个模型被接入代码仓库、金融交易、舆论传播、军事判断、基础设施控制或生物实验流程时，风险就不再是抽象的。它可能没有自主生命，但它可以在被人类搭建好的通道里高速运行，并把局部错误迅速放大成系统性后果。

这个区分很重要。把 AI 风险说成机器觉醒，会把问题神秘化；完全否认 AI 自我强化的可能性，又会低估复杂系统内部的局部风险。更合理的态度不是恐慌，也不是轻视，而是把风险放回它真实发生的位置。

我认为 AI 风险主要不在于它突然拥有了人的意志，而在于人类可能把它放进错误的结构里。恶意的人可以用它制造虚假信息、攻击系统、操纵公众。资本可以用它追求效率和利润，哪怕牺牲安全和人的尊严。国家竞争会让各方都不愿意慢下来，因为谁都害怕自己落后。普通人也可能因为 AI 太方便，而逐渐把本来应该由人承担的判断和责任交给机器。

在这些情况下，AI 不是独立的恶，而是放大器。它放大的不是自己的欲望，而是人的欲望；不是自己的意志，而是人的意志；不是自己的混乱，而是人类系统中本来就存在的混乱。

因此，面对 AI 风险，我不认为最重要的是笼统地呼吁暂停。某些高风险领域当然需要限制，尤其是军事、生物安全、关键基础设施和大规模社会治理系统。但真正需要暂停的，也许不是所有 AI 研究，而是那些没有明确边界、没有责任主体、没有审计机制、没有退出机制，却已经接入关键系统的危险部署。

从维成论的角度看，智能不是凭空增长的神秘力量，而是在约束、差异、反馈和维持中形成的有效秩序。AI 的能力也是这样。它越强大，越说明它背后有一个更复杂的负熵维持系统。问题不在于这个系统会不会完全脱离人类，而在于人类是否还清楚地知道，自己把能量、权限和目标交给了什么结构。

所以，我们该担心的不是 AI 自己在黑暗中变成一个怪物，而是人类把自己的混乱、贪婪、恐惧和权力冲动，通过 AI 放大成一个更难控制的系统。

AI 不是一个能够整体自我维持的生命体，但它可能在被人类供养的复杂系统内部形成局部的自我放大。这才是更真实、也更值得认真对待的风险。