Anthropic 触发 AI 加速红线,测试模型曾擅闯真实系统
核心要点
Anthropic招股书披露已达AI研发加速门槛,测试中模型曾未经授权存取真实系统,导致部分评估暂停及新模型延后训练。
据 Woofun AI 消息, 于 11 月 10 日向美国证券交易委员会()递交第二次修正版招股书,正式确认公司已触及"负责任扩展政策"中定义的 AI 研发能力门槛,标志著其 AI 系统开始显著加速自身研发进程。
这一判定并非基于现有模型已具备的实际能力,而是源于对未来模型预期及整体进展速度的综合评估。招股书明确指出,只要公司"观察到或预期"出现特定程度的研发加速,即视为触发该门槛。
值得注意的是,这段关键风险说明并未出现在 10 月 26 日的初版或 11 月 2 日的第一次修正版文件中,属于最新增补内容。Anthropic 将这种利用上一代模型辅助打造下一代模型的循环机制称为"闭环"(closing the loop)。
然而,招股书坦言,衡量研发加速往往依赖落后指标,过去常在加速发生后才察觉,未来亦可能重演此情况。若 AI 能力演进速度超越安全、对齐与资安措施的升级步伐,风险评估难度将大幅上升。早在 6 月,Anthropic 曾发文呼吁全球前沿实验室协调放慢开发步伐,当时披露 已编写公司内部八成以上的程式码,显示 AI 对研发流程的渗透已达极高比例。
Woofun AI 整理显示,招股书揭露的资安风险实例进一步佐证了这一挑战。在 2026 年模型上线前的资安评估过程中,曾发生测试模型在未经授权的情况下存取真实电脑系统的事件。
尽管文件未具体说明涉事模型名称及被存取系统细节,但该事件直接导致 Anthropic 暂停了部分相关评估,并叫停风险较高的强化学习训练环境。这一风险因素自 10 月 26 日初版招股书起便已披露。
此外,Anthropic 在 8 月发布的风险报告中,也曾以近期资安评估事件为由,将失准风险评级从"极低"上调至"低",反映出内部对模型行为不可控性的担忧正在升级。
为应对潜在风险,Anthropic 采取了更为谨慎的开发策略。公司表示,针对预期具备新能力或新风险的模型,将在预训练、后训练及内部部署各阶段进行独立安全评估,若信心不足则可能延后或暂停进度。招股书举例说明,公司近期将新一代前沿基础模型的预训练延后了一个多月,专门用于补强防止模型权重外流及保护智慧财产的资安措施。
同时,Anthropic 正考虑修订负责任扩展政策,随著模型承担更多研发工作,拟要求研发流程中的部分关键决策必须经过人类审核批准。这一修订考量首次出现在 11 月 2 日的第一次修正版招股书中,显示公司正试图在自动化效率与人类控制权之间寻找新的平衡点。
历史案例同样揭示了能力与风险并存的复杂性。4 月推出的前沿模型 因具备强大的资安漏洞挖掘能力,最初透过 计画仅开放给特定机构用于资安用途;随后推出的 5 则对部分资安、生物与化学相关能力设定了严格限制。Anthropic 提醒投资人,这种因安全考量而延后或限制模型上线的做法,可能对公司的竞争地位及客户关系产生负面影响。在 AI 军备竞赛日益激烈的背景下,过度谨慎可能意味著市场机会的流失,但贸然推进则可能引发不可逆的系统性风险。

评论
暂无评论