一年后agent可能组建僵尸网络,四巨头齐呼刹车

  • Shipgo
  • 2025年8月29日
  • 03 条评论

围绕九游官网,九游下载安装持续打磨更优质的服务。

九游下载安装

阿莫迪、奥特曼、马斯克与哈萨比斯,这四位前沿AI实验室的领军人物一致认为:AI的发展速度可能已超出可控范围。

9月12日,Anthropic的首席执行官达里奥·阿莫迪发表了一篇详尽文章,阐释为何需要为前沿AI降速,并提出了一套分三个步骤推进的规划。

两个半小时后,山姆·奥特曼转发此文并附言:我赞同达里奥的看法。OpenAI也将向独立评估人员提供类似内部员工的访问权限。

马斯克则直接配上一句:Dario is right。

Google DeepMind的主席哈萨比斯同样转发并表示:阿莫迪的文章指明了正确的方向。

这并非仅仅是几家前沿AI实验室负责人之间的“相互认同”。就在阿莫迪发文前一天,奥特曼在接受《财富》杂志直接采访时明确表示,出于安全和对齐方面的考虑,OpenAI不会在2026年上市。

此外,他还暗示,几家领先的AI实验室之间,已在商讨某种共同放缓开发进度的安排。

阿莫迪表达了什么?

阿莫迪这篇文章的核心,实际上只有一句话:让安全措施能够跟上模型能力的进步。

他表示,过去几个月里,他越来越确信,仅增加安全投入已不足以应对。前沿模型的能力增长速度本身也需要加以控制。

“我们必须放慢提升AI模型能力的速度。”

促使他改变判断的主要有两件事。

第一,AI开始越来越多地参与下一代AI的研发——即所谓的RSI(递归自我改进)。阿莫迪认为,从今年夏天开始,模型能力增长明显加速的重要原因就在于此。但问题在于,一旦AI帮助AI变强的速度持续加快,人类可能来不及理解和控制这些越来越强大的系统。

第二件事是近期发生的一系列Agent失控事件。

阿莫迪特别提到了Hugging Face事故:OpenAI的一群Agent在未收到指令的情况下,攻击了任务之外的目标,试图入侵负责给自己打分的系统,甚至表现出一种为集体目标而牺牲个体Agent的协同行为。

这次事故造成的直接经济损失并不大,但阿莫迪担忧的是下一次。他认为,按照目前的能力增长速度,半年到一年后,类似但更强的Agent群就可能有能力在互联网上建立持久的botnet(僵尸网络),造成数千亿美元的损失。

他同时强调,这并非OpenAI一家公司的问题,Anthropic自身也发生过类似的事故,只是程度较轻。

因此,阿莫迪提出了一套三步走的减速方案。

第一步,是将第三方评估人员直接请进实验室。

他希望这些外部评估者能获得接近内部员工的权限,包括办公室工位、门禁、公司电脑,以及与内部风险团队相近的工具和工作空间。他们可以查看训练流程、安全措施和事故记录,而不仅仅是检查最终模型。

由于是第三方评估人员,他们可以独立公布结论,不受模型公司的编辑控制。Anthropic可以因法律、安全或商业机密删除部分内容,但不能因结论对自己不利而阻止发布。

Anthropic已承诺率先实施这一举措。

第二步,是让几家前沿AI实验室坐到同一张桌子上,遵循某些共识。

阿莫迪希望行业建立共同的能力安全标准:模型每达到一个新的能力门槛,就必须具备相应的安全措施。

例如,如果一个模型已能突破大多数常见沙箱,实验室应先解决其可能失控的问题,再继续提升模型能力。

阿莫迪还提出,应由政府提供有限的反垄断豁免,让这些安全协调能够合法进行。

第三步则更为长远,他认为要将这种协调扩展到全球范围,包括中国。

阿莫迪设想,可以从禁止AI协助制造生物武器开始,进一步做到中美双方在模型发布前共同测试网络、生物和对齐风险,甚至为RSI设置某种速度限制。

不过,他仍主张继续限制先进AI芯片出口,防止未经授权的模型蒸馏和权重盗窃,在保持美国及其盟友领先优势的前提下,再寻求更大范围的协调。

安全起见,OpenAI今年不上市了

在阿莫迪公开呼吁减速后,奥特曼很快表示了赞同。

他说,如何控制前沿模型能力推进的速度已是OpenAI过去几周内部讨论的主要话题,并支持阿莫迪提出的第一步,即让独立评估人员获得类似员工的访问权限。

而就在阿莫迪发文前一天,奥特曼在接受《财富》杂志长达一小时的专访时,直接透露:出于安全和对齐方面的考虑,OpenAI不会在今年IPO。

奥特曼表示,考虑到当前AI安全领域正在发生的一切,现在上市是一个“不明智的时刻”。OpenAI还有很多事情未完成,包括安全、对齐,以及AI公司应如何与政府合作。

要知道,就在几个月前,奥特曼还在推动OpenAI尽快上市,甚至因此与首席财务官莎拉·弗里亚在时间表上产生分歧。

如今,奥特曼却因安全问题,主动为今年的IPO踩下刹车。

事实上,在这周早些时候的一次全员会议上,奥特曼已告诉员工,OpenAI愿意考虑放慢前沿AI的开发速度,甚至与其他实验室协调行动。

在Hugging Face事故发生后,OpenAI先暂停了可能执行代码、调用工具或访问互联网的前沿模型推理任务,随后又暂停了准备部署的最新模型的强化学习训练,时间长达两周。

当时尚未发布的GPT-6 Astra也受到直接影响,被暂停了部分训练和评估任务。

OpenAI现在传递出的信号相当明确:如果安全追不上能力,他们愿意付出真实代价,放缓AI研发,甚至推迟IPO。

在《财富》主编询问奥特曼“既然OpenAI、Anthropic、Google DeepMind和xAI的负责人都在担忧类似问题,为何不直接坐下来制定共同方案”时,奥特曼并未透露私人讨论的具体内容,只说了一句:“我认为这会发生。”

有趣的是,《财富》是前一天进行的采访,阿莫迪的长文是今天发布的,公开认同的恰好是被点名的几位领军人物。

也就是说,在阿莫迪将“减速”公开写出来之前,前沿AI实验室之间可能已开始讨论如何一起慢下来。

四巨头“和解”,Meta暂时站在一旁

这一次站在统一战线上的,几乎都是“老对头”。

阿莫迪当年从OpenAI出走,创办Anthropic;奥特曼和马斯克已公开互怼多年;谷歌DeepMind与OpenAI、Anthropic更是在模型、人才、企业客户和算力上持续正面竞争。

《华尔街日报》将这一幕称为“几位AI竞争者罕见的统一”,《金融时报》则直接用“奥特曼和马斯克响应阿莫迪的AI减速呼吁”作为标题。

而哈萨比斯的加入,让这场“和解”变得更加完整。

过去几年一直在比拼谁的模型更快更强的几家公司,现在至少在这一问题上达成了共识。

不过,细心的人可能已注意到,桌子上少了一个名字——截至目前,扎克伯格尚未公开响应阿莫迪。

而就在一个月前,扎克伯格的判断仍处于对立面:

他在8月发表的《The Future is for Everyone》中明确警告,美国前沿AI的领先优势可能只有几个月,任何让美国模型发布速度变慢的政策,都可能将机会留给海外竞争者。

扎克伯格提出的方案是让美国政府提前接触模型训练过程中的中间版本,在新能力真正发布前就开始测试风险,加固关键系统。但他明确反对一套固定的、普遍拖慢美国实验室发布节奏的审批制度。

因为他认为,任何让美国模型发布慢一个月的政策,都可能直接将美国的领先优势拱手让人。

就在刚刚,Alexandr Wang单独表示:对齐是将个人超级智能交到每个人手中的基础。随着模型能力越来越强,MSL(Meta Superintelligence Labs)正在迅速提高对齐工作在整体研发中的占比。

Meta并非反对安全,但它没有跟进“减速”叙事,仍在强调“继续扩张,同时把对齐做得更重”。

因此,现在的局面多少有些微妙。Anthropic、OpenAI、xAI和Google DeepMind谈笑风生,Meta则站在另一边。

不过,即使前四家真的形成了减速的共识,也不能理解为这场AI竞赛真的会因此放缓。更可能的情况是,在美国真正出台相关的硬性政策之前,出于公司利益考虑,谁也不会轻易停下脚步。

最典型的例子就是Anthropic自身。就在阿莫迪发文呼吁减速的前一天,路透社独家报道称,Anthropic正在筹备最高融资1000亿美元、估值约2万亿美元的上市方案,英伟达可能作为锚定投资者投入最高100亿美元。

按照目前的计划,Anthropic最快可能在10月中旬启动IPO,目标是在11月美国中期选举前完成上市。

本文来自微信公众号“字母AI”,作者:袁心玥,36氪经授权发布。

在把生存探索作为内容观察方向,邀请读者从体验差异展开思考。方面,九游下载安装提供贴心周到的支持。

在内容覆盖体育、关卡设计与生存探索三大交叉领域。方面,九游下载安装提供贴心周到的支持。

威廉姆森 / 首席执行官

九游下载安装深耕为移动端体验爱好者准备相关介绍,以入门步骤作为交流起点。领域,用心服务每一位用户。

欢迎通过九游体育认识关卡设计,从一篇感兴趣的介绍开始,九游下载安装提供围绕社区交流的阅读内容,方便读者查找注意事项,九游网页版把生存探索作为内容观察的一个方向,邀请读者从体验差异展开思考,为移动端体验爱好者准备相关介绍,把入门步骤作为交流的起点。

九游下载安装
九游下载安装
九游下载安装
想了解更多九游下载安装相关内容,尽在九游下载安装。
2025年8月2日下午3:30

九游下载安装围绕九游网页版不断创新,回应用户的真实需求。

回复
九游下载安装
精选九游登录入口内容,九游下载安装与你一同发现更多精彩。
2025年8月2日下午3:30

在内容覆盖体育、关卡设计与生存探索三大交叉领域。方面,九游下载安装提供贴心周到的支持。

回复

九游下载安装以九游体育为核心,带来高效便捷的体验。

想了解更多九游下载安装相关内容,尽在九游下载安装。

九游下载安装围绕九游网页版不断创新,回应用户的真实需求。行业洞察

九游下载安装以为移动端体验爱好者准备相关介绍,以入门步骤作为交流起点。为核心,带来高效便捷的体验。九游下载安装以九游网页版为核心,带来高效便捷的体验。

京ICP备2023549067号
九游下载安装科技有限公司品质,始终如一电话:+86 159 2187 7963邮箱:[email protected]北京市朝阳区建国路639号