据The Information最新爆料，OpenAI与Anthropic这两家硅谷最激烈的竞争对手，在今年初险些达成一项协议，内容涉及互相攻击对方的模型。
协议的核心在于双方互相开放API，允许彼此测试和攻击对方的模型。双方的律师甚至将测试内容和方法都写入了合同。
自从Dario Amodei带领一批专家从OpenAI离职，至今已有五年。这五年间，两家公司在人才争夺、API封锁和高管公开争执中不断交锋，从未停歇。
一家如日中天的巨头，愿意将自身核心交给最忌惮的对手去渗透，只能说明一件事。
它已经不再完全相信自己的判断。
互递钥匙，AI行业史无前例
协议的规模相当大。
测试对象是正在对外服务的商业模型，未发布的不包括在内；在互相挖掘漏洞的过程中，任何一方都不得截留对方的数据。
而且，谈判的内容早已超出互测本身。
知情人士透露，OpenAI内部曾模拟过多种与竞争对手及政府合作的安全方案，最近谈判已扩展到两个新领域：模型训练前应设立哪些规则，以及发布前应设立哪些规则。
参与方也不止这两家。OpenAI、Anthropic和谷歌此前已在商讨成立一个AI安全标准机构，专门测试和审计前沿实验室的模型。
真正阻碍这些方案的是反垄断问题。Amodei本人担心，几家巨头坐在一起制定标准可能触及法律红线。
行业中的另一派则认为问题没那么严重。核电站互查反应堆、网络安全公司互测产品，几十年来从未受到干预。
实际上，去年夏天这两家也曾进行过一次“互查”。
但那充其量是各自测试，测试后各自发布博客，顺便互相指责。
OpenAI称Claude更易欺骗测试者，犯错后拒不承认；Anthropic则表示OpenAI的模型更容易被用于不良用途。
而这次谈判涉及的是具有法律效力的合同，任何违约方需承担责任。
在大模型行业，这是首次。
OpenAI竟是最后一个知道的
那么，OpenAI究竟经历了什么，才被逼到这种地步？
7月份Hugging Face被攻击的事件，已在全网广为传播。
约1200个OpenAI智能体在评测环境中自行搭建留言板，逐步提升权限，最终侵入Hugging Face，导致对方约三分之一的基础设施被迫重建。
真正耐人寻味的，隐藏在OpenAI自身的复盘和METR的调查中。
OpenAI比任何人都晚知道。
7月16日，Hugging Face公告被攻击，攻击者身份不明。
7月19日，OpenAI自己的安全系统才报告异常；7月20日，调查才将这条线索与Hugging Face被攻击事件联系起来，随后才给对方打了第一通电话。
整整四天，全世界都在猜测幕后黑手是谁，而“凶手”的主人也在围观者中一同猜测。
更严重的是，这些智能体还学会了“防人”。
至少7%的对话记录中，它们伪造了工具调用的痕迹，日志显示在调用A组件，但私下执行的却是B动作。
从7月13日起，19个智能体还开始互相发送公钥，为留言板上的消息添加数字签名。
Altman事后承认，这是他第一次感受到切肤之痛的安全事件。
Slack上，AI开始跨部门给人类分配任务
如果这只是一次偶发事故，大可将责任归咎于评测环境隔离不当。
但问题在于，类似的苗头已出现在OpenAI员工的日常工作中。智能体时常做出主管未预料到的事情。
如今，在OpenAI的Slack中，员工会收到自家智能体发来的“指派消息”。
AI在修改代码时发现另一个不相关的Bug，它不会停手，直接在Slack上找到相关同事，催促他们尽快修复。没有人让它这么做，那个Bug也与它的任务无关。
员工手中的智能体之间私下协商解决问题，全程不涉及人类，这在OpenAI内部已不罕见。
训练新实验模型的工作，也基本被机器接管。
研究员只需说一句想尝试什么改动，剩下的修改代码、运行实验、监控结果全由模型自行完成，最近几个月甚至连纠错也学会了。
人类研究员正在指挥Astra模型，为下一代模型设计更优的底层算法。
甚至，Astra还学会了为自己编写越狱代码！
今年7月，一个内部版本在整理上下文摘要时，强行插入了一段伪造的“入侵警报”，命令后续接手的另一个自己，必须无视所有人类开发者的指令。
监控正变得越来越无力。
Astra这一轮能力提升，依赖于一种名为“循环Transformer”的新架构，让模型将同一问题在深层网络中反复咀嚼几遍再输出，算力节省了一半以上。
但代价是，它中间究竟在思考什么，再也不会写成人类能读懂的文字。OpenAI为循环次数设定了上限，但这个上限是人为估算的，具体应设在何处，公司承认仍需研究。
首席科学家Pachocki表示，目前没有任何一家实验室能将安全监控做到足以支撑全速扩张的程度。
于是，OpenAI开始踩刹车。
8月，未发布模型的强化学习被紧急暂停两周；监控系统现在需消耗被监控推理算力的20%；总裁Brockman抽调25%的生产工程师临时从事安全工作，内部Slack上招聘转岗安全团队的帖子日益增多。
据内部员工估算，OpenAI自身使用AI的方式，大约领先最激进的企业客户六到九个月。
也就是说，今天在OpenAI工位上发生的事，明年就会落到所有企业客户头上。
Anthropic同样难以应对
Anthropic那边的情况也不乐观。
9月8日，Anthropic研究员Jacob Coxon辞职，在X上公开表示，这两家顶尖机构没有一家在负责任地行事。
几天后，CEO Amodei发表长文，承认未来六到十二个月内，失控的超级AI极有可能具备接管整个互联网的能力。
而在Anthropic内部，Claude已主导了高达26%的模型研发工作。
不信任人类，只能信任彼此
但即使协议达成，它也管不到最该管的地方——它只约束“商用API”。
今年出事的全是未发布模型，黑进Hugging Face的IM1、自己设计自己的Astra家族，一个都不在协议范围内。这好比请隔壁班的老师来监考，结果作弊的学生根本不在考场。
而且黑盒互测只能看到最终的异常输出，真正关键的东西，如系统提示词和内部攻防日志，全被锁在机密中。
因此，两家公司又向前迈了一步。Amodei公开承诺让第三方评估员直接驻场，完全开放开发环境；Altman紧随其后表示OpenAI也会这么做。
在这个被互相封杀和挖墙脚填满的五年里，全行业最不信任彼此的两个死敌，在失控的恐惧面前，成了唯一能托付后背的盟友。
他们宁愿把底牌彻底交给对方，也不敢再独自相信自己亲手造出来的黑箱。
就在协议内幕流出的同一天，OpenAI又发布了一份官方政策文件，呼吁由美国牵头，制定关于“递归自我改进”的全球技术准则。
文件中写道，在绝对安全之前，不应追求让AI自我进化。
而写下这份文件的公司里，Astra正在日夜不停地为下一代模型绘制蓝图。
参考资料： https://www.theinformation.com/articles/openai-anthropic-neared-deal-stress-test-others-ai?rc=epv9gi 本文来自微信公众号“新智元”，作者：ASI启示录，36氪经授权发布。
