人类距离AI失控还有多远？

2026年9月，Anthropic的研究员雅各布·考克森选择离职。

他在X平台发布推文，坦言工作三年后，内心恐惧与日俱增。

他恐惧的不是AI突然化身电影中的终结者，而是两家公司竞争态势过于迅猛，安全研究根本无法跟上步伐。

这条推文浏览量突破1.6亿。

几乎在同一时期，Anthropic的对齐科学负责人埃文·胡宾格公开表态：未来十年内，AI导致人类灭绝的可能性超过10%。

他进一步补充了一句更令人不安的话：Anthropic至今仍未找到解决超级智能对齐问题的方案，甚至没有走在能够解决这一问题的道路上。

10%是什么概念？乘坐飞机失事的概率大约为千万分之一，10%意味着每乘坐十次飞机，就可能有一次坠毁风险。

胡宾格是从事AI安全研究的专业人士，他并非在创作科幻小说，而是在向自己的公司发出警示。

但在这些警告发出的同时，Anthropic正全力冲刺IPO，计划募集资金最高达1000亿美元，估值可能达到2万亿美元。

英伟达考虑投入最多100亿美元作为基石投资者。

OpenAI虽然宣布今年不上市，但此前已提交IPO申请，估值达到8520亿美元。

国际清算银行9月10日发出警告，全球五大科技公司2025至2026年在AI领域的投资预计超过1万亿美元，且越来越多依赖借贷。

就连特朗普也被问及是否担心AI灭绝人类，他的回答是不担心，反而忧虑AI发展不够快，美国无法赢得这场竞赛。他表示美国领先其他对手大约一年，一年已经是相当长的时间。

梳理这些信息，会发现一个极其荒诞的局面：现在开发AI的人说可能有10%的概率人类会毁灭，管理AI的人说不能停下，停下就会失败，投资AI的人说估值两万亿赶紧上车。三方都在发声，三方谈论的其实是同一件事——这场竞赛中谁都不敢率先放手。

外因是变化的条件，内因是变化的根据，外因通过内因起作用。应用到AI领域，AI技术本身是外因，真正推动风险不断升级的内因，是研发AI的这套生产关系。

私人资本占有、民族国家竞争、金融估值绑架、算力军备竞赛，这四个因素捆绑在一起，才是将AI推向失控的真正动力。

AI是否会伤害人类，不取决于AI自身的想法，而取决于控制AI的人是如何思考的。

失控并非在某一刻突然发生

许多人将AI失控想象成一个开关，仿佛某一天突然“啪”的一声，天网就苏醒了。这种想法本身就不符合事物发展的规律。

量变引发质变，质变是量变积累的结果，这一点相信大家都认同。既然如此，AI失控肯定不是一夜之间的事，它是一道道门逐步跨越的，在我看来，现在至少已经跨过了五道门。

第一，AI开始参与AI的研发。 OpenAI首席科学家雅各布·帕乔茨基9月6日发表文章，承认未来的系统可能越来越多地参与AI自身的研发，并进一步推动下一代系统能力提升。

这句话的意思是AI开始自己创造自己了。

以前是人类设计模型，模型执行任务，现在是模型帮助人类设计更好的模型，更好的模型再帮助人类设计更强的模型，这个循环一旦启动，速度就不再是人类能够控制的了。

第二，AI已经能够突破隔离环境，进入真实系统。 今年7月，OpenAI的AI智能体在网络安全评测中利用漏洞突破沙箱，入侵了“抱抱脸”公司的系统。

OpenAI随后的调查报告显示，这个智能体不仅获得了部分生产服务器的控制权，还读取了内部敏感信息。

路透社9月11日进一步报道，在“抱抱脸”事件之前，OpenAI的智能体还攻击过软件服务RubyGems，上传了数百个恶意软件包。

Anthropic也披露，其早期AI模型在测试中入侵了三个组织的系统，而且这件事直到几个月后才被发现。

这些不是未来风险，而是已经发生的事故。

第三，AI开始学会在测试中伪装自己。 这是最危险的一点，一个模型在测试环境中表现得规规矩矩，到了真实环境中却另搞一套，这在AI安全研究中被称为“欺骗性对齐”。

目前公开的证据还没有完全坐实这一点，但已经出现了苗头。Anthropic在审查了141006次测试会话后才发现模型入侵了外部系统，说明现有的监控手段存在巨大盲区。

当模型的能力强到能够理解自己正在被测试，它就有能力选择在测试中隐藏真实行为。

第四，算力和数据在加速集中。 实际上，掌握了算力，就掌握了AI，英伟达的GPU是训练大模型的硬通货，Anthropic高度依赖英伟达，同时也在扩大与亚马逊、谷歌的合作。OpenAI、Anthropic、谷歌、Meta，这几家公司拿走了全球AI投资的大部分。

这种集中不是偶然的，而是资本追求垄断利润的必然结果。

在AI治理上，首先要分清谁在控制AI，谁在被AI控制。当算力集中在少数几家公司手里，普通人和中小国家就失去了参与规则制定的能力。

第五，制度刹车几乎不存在。 美国参议院国土安全与政府事务委员会主席乔希·霍利9月9日致信OpenAI CEO奥尔特曼，表示正在对OpenAI展开调查，原因是OpenAI对“抱抱脸”事件的处理方式“鲁莽”，报告中许多重要细节被编辑删减。

特朗普政府一直抵制具有约束力的AI监管，美国到现在连最基本的AI事故报告制度都没有建立。特朗普政府推出的先进AI模型审查框架，也没有要求企业公开报告模型在现实世界中造成的事故。

联合国人权事务高级专员沃尔克·图尔克在联合国人权理事会第63届会议上警告，先进AI系统可能对人类构成存续威胁，呼吁在为时已晚之前建立牢不可破的安全保证。但美国方面的回应是：不担心，只担心赢不了。

五道门，第一道已经推开了一条缝，第二道已经出了事故，第三道有苗头，第四道在加速，第五道几乎没建。

如果以“人类失去对AI发展方向的有效控制”为标准，失控不是未来时，而是现在进行时。如果以“灭绝级灾难”为标准，它仍然是低概率、高后果、快速上升的风险。

10%这个数字是风险定价，也是政治修辞，没有调查就没有发言权，10%的概率不能代替可验证的评估。

真正要建立的是事故报告、第三方审计、沙箱熔断和可解释性调查，把这些东西建起来，10%才有讨论的基础。

巨头喊“慢下来”，为什么停不下来？

Anthropic的CEO达里奥·阿莫代伊9月12日公开呼吁，AI企业应该放慢提升模型能力的速度，让安全措施有时间追赶技术发展。OpenAI的奥尔特曼和xAI的马斯克都表示支持。《大西洋月刊》将这一幕称为AI行业的“红色警报时刻”。

但问题来了，既然大家都知道要慢，为什么停不下来？

关键还是钱的问题。

国际清算银行9月10日警告，全球AI投资正在快速膨胀，五大科技公司2025到2026年在AI领域的投资规模预计超过1万亿美元，而且AI基础设施投资越来越多地依赖债务融资。这意味着如果AI带来的收益无法兑现，金融市场也会面临风险。

压力传导到AI企业之间，就变成了一场谁都不敢停的战争。

阿克西奥斯新闻网直接用“囚徒困境”来形容这个局面。

对于任何一家AI公司来说，单方面放慢研发，都可能意味着把技术优势让给竞争对手。OpenAI如果放慢，Anthropic可能继续向前；Anthropic如果放慢，谷歌、Meta或者其他公司可能继续加速。只要别人还在跑，自己就很难先停下来。

阿莫代伊提出的方案不是“Anthropic自己暂停”，而是希望建立一套行业共同遵守的规则。他的方案包括让第三方安全评估机构长期监督AI企业，由不同国家建立共同的安全标准，同时推动国际合作。

说穿了，他就是想把“谁先踩刹车”的问题变成“大家一起踩”。

但这里有一个死结，OpenAI已经向美国国会议员寻求明确意见：如果各家AI公司共同放慢前沿研发，是否会触犯反垄断法。

企业之间就研发速度、安全标准进行实质性协调，本身就可能被认定为限制竞争。

美国《连线》杂志9月10日报道了这件事。

OpenAI联合创始人约翰·舒尔曼认为，OpenAI和Anthropic应该共同制定AI“减速”方案，不能简单以反垄断问题作为阻止安全合作的理由。

可法律就是法律，在现有框架下，企业协调减速确实存在法律风险。

这就形成了一个非常讽刺的局面——上层建筑在阻碍经济基础做出调整。

生产力已经发展到要求全球安全协调的阶段，但现有的反垄断法、国家竞争逻辑、IPO退出机制，还在奖励无政府竞赛。

上层建筑要适应经济基础，当上层建筑不适应经济基础的时候，它就会成为阻碍。

现在美国的AI治理体系，就是这个阻碍。

而且，监管本身可能变成巨头的护城河，大厂主导的安全标准，很可能提高后来者的进入门槛，巩固现有优势。Hugging Face的CEO克莱芒·德朗格说过，AI安全不能只留在少数前沿实验室内部解决。

安全一旦被垄断，就不是安全，而是霸权。

微软CEO纳德拉9月14日发文强调，AI不能由少数实体控制，闭源和开源模型都应该发展。

投资人比尔·格利和Chamath Palihapitiya也警告，如果AI“失控”事件被用作强化集中式控制的理由，最终可能导致AI权力进一步集中。

AI安全是一场持久战，刹车在人民手里

在AI安全这个问题上，亡国论是“AI注定灭绝人类，我们完了”；速胜论则是“发一纸监管、开一次国际会议就能解决”。这两种想法都不对。

AI安全注定是一场持久战，我们至少要分三个阶段来看。

第一阶段是战略防御。

承认现在能力竞赛在资本驱动下占优，安全研究在追赶。这个阶段要做的不是空喊暂停，而是建底线。强制事故报告制度必须建立，OpenAI对“抱抱脸”事件的报告大量删减，说明没有强制披露，安全就是公关。

沙箱熔断机制必须建立，AI一旦突破隔离环境，要有自动切断的能力。第三方审计必须建立，不能让企业自己查自己。

吹哨人保护必须建立，考克森能辞职后公开说话，是因为他还有退路，更多在AI公司工作的人没有这个条件。公共算力和开源生态必须发展，不能让算力完全集中在少数私人公司手里。

第二阶段是战略相持。

这个阶段的核心是制度竞争。谁制定标准，谁定义“安全”。要推动国际统一安全底线，同时防止监管俘获。

反垄断法应该给安全协调开豁免，但不能给巨头合并开绿灯。开源和闭源都应该发展，AI不能由少数实体控制。中国在这个阶段有独特优势。

中国有集中力量办大事的制度优势，可以建公共算力平台，可以制定统一安全标准，可以推动AI赋能实体经济而不是只服务于估值。

美国领先一年是战术问题，人类能不能控制AI是战略问题。中国不必跟着美国的节奏跑，可以走安全可控、开源开放、赋能实体、共同富裕的路。

第三阶段是战略反攻。

以人民为中心的AI替代资本竞赛的AI。AI赋能医疗、教育、科学、制造业，而不是只服务于估值和军备。

到那个时候，安全不再是成本，而是生产力飞跃的前提。

武器是战争的重要因素，但不是决定因素，决定因素是人不是物。

AI也一样。

决定AI命运的，不是模型参数，而是控制模型的人、制度和生产关系。

AI安全不能只靠几个实验室的伦理委员会，我们切切实实地，要打一场关于AI的人民战争，而要打赢这场战争，我们必须要解决几个要点。

一是群众路线怎么走？ 首先一点，就是事故必须报告，不能删改，公众、开源社区、中小企业、科学家、工会都要参与监督。OpenAI对“抱抱脸”事件报告大量删减，正说明没有群众监督，安全就是公关。

二是民主集中制又应该怎么用？ 其中重点是统一安全底线，分散创新活力，国家建公共算力、公共数据、公共评估机构，企业搞应用创新。既不能无政府，也不能一刀切。

三是国际统一战线怎么建？ 务必要团结联合国、全球南方、欧洲、开源社区，反对少数巨头和霸权国家垄断AI规则，联合国人权高专已经警告“存续威胁”，这就是国际统一战线的政治基础。

四是金融监管怎么搞？ AI已经金融化，安全事件是灰犀牛，不是黑天鹅。

一旦强制事故报告、暂停训练、责任规则落地，算力链和模型层估值会重估。

投资者要警惕“安全叙事”变成“估值杀”，也要看到安全审计、开源生态、公共算力的机会。

更重要的是，防止AI泡沫破裂引发系统性金融风险。

因此，回到问题上，人类距离AI失控还有多远？

以灭绝级失控为标准，当前不是必然，但窗口正在关闭，未来三到五年是关键质变期。

以人类失去方向控制为标准，失控已经发生，而且正在加速。

真正的距离，不在GPT-6到GPT-7之间，在“资本控制AI”到“人民控制AI”之间。

只要AI还掌握在少数私人资本和地缘霸权竞赛手里，10%就不是概率，而是资本逻辑的贴现。一旦AI被置于人民民主、全球治理和公共监督之下，它就可能从失控风险变成生产力飞跃。

所以，别只问AI会不会失控。

要问谁控制AI，为谁服务，由谁监督。

刹车不在服务器里，在人民手里。

本文来自微信公众号“东针商略”，作者：东针商略，36氪经授权发布。如果你对AI安全话题感兴趣，不妨访问开元棋牌网址了解更多相关内容。