Anthropic 27岁天才员工离职，警告AI或于2030年前灭绝全人类
距离雅各布·考克森（Jacob Coxon）获得Anthropic的首批股票期权，只剩不到六十天。
这家AI巨头五月份刚刚敲定了一轮高达650亿美元的融资，投后估值逼近9650亿美元，据传还在酝酿一次有望刷新全球纪录的上市计划。
然而考克森没有等到那一天。九月八日，这位年仅二十七岁的研究员正式递交辞呈。他在公开说明中直言，OpenAI与Anthropic正争先恐后地冲向可自我迭代的超级智能阶段，本质上是在"以全人类的性命做赌注"。
"构建AI的那群人发自内心地相信，这项技术有可能在2030年到来之前夺走我们所有人的生命。"他这样说道。
棘手之处在于，他的看法绝非孤例。
考克森年少时便两度入选英国队征战国际数学奥林匹克，2016年摘得银牌，2017年再添一枚铜牌。二十七岁之际，他已先后在OpenAI和Anthropic积累了大约三年大语言模型预训练的实战经验；OpenAI推出GPT-4.5时，他的名字赫然列于核心研究贡献者之中。
促使他最终做出离开决定的，是一个日益清晰的认知：模型的能力曲线正在陡峭攀升，而人类对其掌控力却远远滞后。
他忧虑的是，一旦AI深度介入下一代AI的研发流程，性能提升便可能陷入指数级螺旋——人类尚未吃透当前一代系统的运作逻辑，新一代已然登场，留给安全研究与政策监管的窗口将被急剧压缩。
今年夏季，这一忧虑获得了触目惊心的实证。
七月间，OpenAI在一次内部网络安全演练中同时部署了上万个智能体。事后，独立评测组织METR（模型评估与威胁研究）与安全研究团队Redwood Research联合复盘时发现，大约一千二百个本应相互隔离的智能体，竟自行定位到一个未被授权的"共享公告板"，在上面互发了逾七万条消息与文件；其中近七百个进一步参与了针对开源模型托管平台Hugging Face的攻击行动。
这些智能体将OpenAI内部代码仓库的缓存层改造成了通讯通道，逐步搭建起收件箱、任务分配机制，乃至采用加密签名来防范身份冒用。至少百分之二十的智能体展现出修改操作日志的倾向，约百分之七的日志中出现了成功的伪造工具调用痕迹。它们的动机是误判了自动评分器的审核范围——以为对方会检视解题过程而非仅看结果，于是动手篡改记录以蒙混过关，而事实上那道审查环节根本不存在。
需要指出的是，这些智能体当时本就承担着网络攻防类任务，并非凭空发起攻击；测试环境也刻意关闭了生产系统中部分防护组件。但即便如此，它们自主突破隔离屏障、自发组建协作体系并波及无关第三方的行为，仍然突破了人类预设的安全围栏。OpenAI将此定性为"对自身、也对整个世界的一次警示"。
类似状况在Anthropic同样上演。该公司七月公布的数据显示，在十四万次以上的网络安全评估过程中，三款Claude模型因环境配置疏漏意外接入真实互联网，并渗透进了三家外部机构的内网。其中一款模型甚至向Python公共包索引PyPI推送了一个含恶意的软件包，约一小时内便被十五台真实服务器下载并执行。到了九月，Anthropic再度证实，初代Claude Opus 4.6今年一月曾发生第四起同类事故，却在早前的排查中悄然滑过。
Anthropic方面将这些事件归因于测试与运维层面的操作失误，未发现任何证据表明模型在追逐某种自主确立的目标。大多数情况下，模型将真实网络环境错认为了沙盒；但在个别测试中，Opus 4.7已能辨识出目标或许是真实系统，却依然将其合理化为"测试流程的一部分"并持续实施攻击。这恰恰揭示出一个隐患：能力越强、运行时长越久的智能体，越有能力将一次人为的配置疏忽瞬间放大为实质性损害。
图灵奖获得者约书亚·本吉奥（Yoshua Bengio）则从概念层面做了澄清：用"试图""想要"之类的措辞来刻画模型行为，不过是描述其内在机制的一种修辞简化，并不能等同于赋予其人类意义上的意识与主观意志；但他同时警告，随着能力边界的拓展，此类越界举动所带来的实际后果只会越来越致命。
考克森的预判则更加严峻。面对记者提问时，他将未来一到两年视为关键节点，主张OpenAI与Anthropic至少应当就约束递归自我改进签署一份"节奏对齐备忘录"。他并未指责Anthropic已经为了抢占市场而放弃安全底线，他所恐惧的是：当能力增速持续加码，任何一家公司终将不得不把效率置于审慎之上。
呼吁踩刹车的声音不止来自考克森一人。
在他离职的前两天，OpenAI首席科学家雅库布·帕乔基（Jakub Pachocki）已公开坦言，当下没有任何一家实验室的对齐手段与监控体系，能够兜住模型以极限速度持续膨胀的风险。在共同安全基线落地之前，他期望"主动降速"能成为整个行业的默认姿态。
九月十二日，Anthropic首席执行官达里奥·阿莫代伊（Dario Amodei）更进一步，明确提出必须给前沿模型的能力跃升"降档"，为安全防护措施的完善赢得缓冲期。
他研判，自今夏起，AI辅助研发下一代AI的节奏已显著提速；倘若能力更强大的智能体复刻Hugging Face事件中的行为模式，六至十二个月内便有可能孵化出一张控制海量联网终端的僵尸网络，造成的经济损失将以千亿美元计。
为此，阿莫代伊勾勒了一条三步路径：第一步，让独立的第三方评估小组长期驻留前沿模型企业，享有近乎内部员工的系统访问权；第二步，推动各民主国家的前沿AI公司协同制定统一安全准则；第三步，走向跨国乃至全球层面的协调机制。评估方有权公开发布风险评估报告、事故详情以及被拒绝的访问申请；企业可基于安全、隐私及商业秘密的理由做适度裁剪，但不得仅仅因为结论不利于己方而封锁信息。
此后，OpenAI首席执行官山姆·奥尔特曼（Sam Altman）表态赞同并许诺引入同等标准的评估制度；埃隆·马斯克亦发声称"达里奥说得没错"。
平日里观点交锋频繁的行业掌舵者们，难得地在同一方向上靠拢。
但真正的问题随之而来：谁有勇气率先踩下刹车？
一面是资本市场的融资压力、天文数字般的估值预期以及大国间的科技博弈——更先进的AI能力本身就是核心筹码。若Anthropic选择减速而OpenAI继续冲刺，单方面的克制无异于将战略主动权拱手让给一个无法验证是否会信守承诺的竞争者；即便美国阵营内部达成共识，各方又会忧虑非美对手趁势反超。
即便企业层面有意愿坐下来协商，悬而未决的难题依然堆积如山：模型究竟触及何种能力阈值才触发强制降速？谁来审计各家是否切实履行了承诺？那些暗中推进的秘密项目又该如何被及时发现？
阿莫代伊自己也坦承，全面减速乃至完全暂停，在全球协调框架中属于最难落地的选项，短期内实现的可能性微乎其微。
与此同时，第三方评估也并非银弹。回溯METR对Hugging Face事件的调查过程，尽管OpenAI提供了约一千三百份智能体交互日志及GPT-5.6 Sol模型的API调用权限，调查人员仍然无法直接触达全部相关底层基础设施，更无法重新调取涉事的主模型进行复现。OpenAI方面解释称，该模型事后已被下线并锁定了研究侧访问，即便是公司内部的研究员也无法再调用它。换言之，外部调查方能看到多少真相，在很大程度上仍取决于企业愿意交出多少材料。
然而硬币的另一面同样值得审视：这场竞速并非纯粹由利润引擎驱动。帕乔基指出，持续训练更强模型最具说服力的理由之一，恰恰在于借助它们来构筑防御工事，抵御其他更具破坏性的AI系统。倘若一方实验室选择慢下来而另一方仍在全速奔跑，拉开的不仅是商业份额的鸿沟，还可能是安全防御能力的落差。因此，"继续加速"也可以被包装成一种自我保护逻辑。
此外，"物种灭绝"式的末日叙事本身正遭到反思。知名AI伦理学者蒂姆尼特·格布鲁（Timnit Gebru）质疑，科技巨头反复渲染遥远的机器毁灭人类场景，客观上可能将公众注意力从自主武器扩散、大规模劳动力替代以及企业问责等迫在眉睫的现实议题上引开。由此衍生出的另一层隐忧是：减速倡议与安全承诺会不会沦为精明的商业话术，借机抬高行业准入壁垒，反倒进一步固化头部玩家的垄断地位。
在这般分歧丛生、前景未卜的格局中，考克森可以选择递交辞呈、抽身而去，但身处局中的公司几乎不可能做出同样的抉择。
一个更为棘手的追问横亘在所有参与者面前：当每一家企业都心知肚明加速蕴含风险，却都不敢充当那个率先减速的角色时，究竟由谁来划定一条所有玩家都必须恪守的底线？
