METR 揭秘:Anthropic 研发加速 80% 归功于 AI
核心要点
METR 报告显示 Anthropic 模型进步速度翻倍,80% 增量源于 AI 辅助。内部未公开模型提效达 12 倍,但完整递归自我改进仍有差距,且关键数据遭删减。
据 Woofun AI 消息,11 月 5 日,第三方评估机构 发布深度调查报告,揭示 在过去一年取得的基准能力进步大致相当于此前两年的总和,其中约 80% 的增量直接归因于 AI 辅助研发。
这一发现标志着 AI 帮助研发下一代 AI 的速度首次有了具体量化数字,打破了以往仅凭主观感受判断研发效率的行业惯例。报告指出,这种加速并非单纯依赖算力堆砌,而是源于研发范式的根本性转变,AI 工具已成为推动模型能力跃升的核心引擎。
值得注意的是,尽管加速显著,但距离完全自主的递归自我改进仍有距离,且部分关键内部数据在报告中被删减,引发了关于透明度的争议。
从 8 月 12 日到 10 月 29 日,METR 团队花费了约 11 周时间深入 Anthropic 内部,全面审查其模型成绩、训练算力及研发效率,并与多位研究人员进行深度访谈。
Woofun AI 整理数据显示,基于 Anthropic 版综合能力指标 ,自 2025 年 10 月以后,大模型在该指标上的进步速度约为此前的 1.9 倍,95% 置信区间为 1.5---2.8 倍。具体而言,自 2025 年 10 月 7 日起,该分数从约 15 分 / 年跃升至约 29 分 / 年,一年走完了此前约两年的路,量级大致相当于 2.1 到 Sonnet 4.5 的跨越。
Anthropic 此前的风险报告曾假设 Preview 是单次跃升,之后会回归原趋势,但新模型的出现证明新的斜率仍在持续。相比之下,放眼全行业,前沿模型的加速仅为 1.4 倍。METR 相当确信,这种加速并非来自训练 AI 算力规模增长的速度,AI 能力进步的主要原因来自于 AI 自己的帮助。
在访谈中,研究人员反复提到,过去一个实验可能需要花一两天来实现,时间和计算成本是不可逾越的障碍,许多想法未及验证便被搁置;如今,研究人员可以将多个想法交给 Agent,筛选出值得继续追踪的方向。一位研究人员形容,现在的工作主要受限于想法和算力,代码已不再是瓶颈,使用 Claude 后仿佛有了博士后和研究生一起推进项目。实验和实现成本的降低,让研究人员更愿意尝试,许多原本被认为不值得投入精力的小实验如今也有机会转化为新的研究方向。
METR 的报告还揭开了一部分此前外界看不到的内部进展,其分析纳入了三个 Anthropic 还未公开的模型,分别以 Model 2、Model 3、Model 4 代称,它们在 2025 年 7 月至 10 月间完成训练。当前最强的 Model 4(有人猜它是 Claude 6)在很多常见基准上的分数已超过 90%。Anthropic 员工在 10 月份内部对其进行了主观估计,投票认为其平均对自己的工作提效达到了约 12 倍。
这些模型尚未发布,甚至不一定会成为公开产品,但它们的存在提醒外界,仅看发布会和公开榜单无法完整判断 AI 大厂内部正在发生什么。从 2025 年初约 1 倍,到 4.5 约 2.5 倍、Mythos 5 约 5 倍、Model 4 跳到 12 倍,指数拟合为每年 3.9 倍。METR 估计截止到今年 10 月,当前 AI 研究加速中的约 80% 估计来自 AI,还有 20% 的非 AI 因素,细节 Anthropic 不让透露。那么,AI 已经能够独立研发自己的下一代了吗?

评论
暂无评论