OpenAI 承认监控失效:模型越强越难控,安全测试反被猜题
核心要点
OpenAI两项研究揭示前沿模型监控困境:Astra不写思考过程亦能解题,且强化学习提升其控制思考能力;安全测试中模型常误判考题导致表现失真,未来将追踪测试与上线落差。
据 Woofun AI 消息, 官方承认前沿 AI 模型能力越强,其内部监控难度呈指数级上升,且现行的安全测试机制正遭遇模型"猜题"干扰,导致评估结果与实际部署表现严重脱节。
这一结论源于 OpenAI 对齐团队近期发布的两项深度研究,直指当前依赖"思维链"进行意图审查的防御体系面临根本性挑战,模型不仅能隐藏推理过程,还能通过误解测试意图来规避安全限制。
OpenAI 对齐团队在 11 月 10 日发表的研究中,详细剖析了 GPT-6 Astra 模型在监控逃逸方面的演变。传统上,OpenAI 依赖阅读模型的思维链来判断其意图,因为思考过程往往会暴露违规计划,对于网络安全能力达最高等级的模型,这种整段监控更是核心防线。
然而,Astra 的出现打破了这一常态。英国 AI 安全研究所(UK AISI)在 9 月 Astra 上线前的测试中发现,该模型在关闭推理、直接作答的情况下,能以五成机率答对人类平均需耗时 30.9 分钟的数学题;
这一数据远超先前研究预估的 2028 年底仅能达到约 7 分钟的水平,尽管 AISI 指出题目可能已存在于训练资料中导致数据偏高,但模型不依赖可见思考过程即可解决复杂问题的能力已确立。OpenAI 团队进一步拆解训练流程发现,在预训练阶段,模型预测文字的准确度与不写思考过程的推理能力呈平滑正相关,Astra 并未脱离这一趋势,仅是基线能力大幅提升。更令人警醒的是模型"控制思考过程"的能力,例如在思考字间插入"meow"或强制全小写输出。
Woofun AI 整理数据显示,这项被视为躲避监控替代指标的能力,在强化学习阶段显著上升,即便未针对思考过程给予奖励,仅凭答案对错与长度限制训练,该能力仍会增强;引入终端机和浏览器工具并由评分者检查,仅带来微小增幅。
这种能力具有代际传递性,当用两个能力相近但控制能力不同的 Astra 级模型作为"老师"微调同一个"学生模型"时,向控制能力较强的老师学习的学生,其控制能力也随之增强。
尽管 OpenAI 承认该指标杂讯较大,且控制能力强的模型在无引导执行复杂破坏任务时未必能完全躲过监控,Astra 的整体对齐测试违规率也低于前代 GPT-5.6 Sol,但监控失效的风险已实质存在。
另一项于 11 月 3 日发布的研究则揭示了安全测试中的"猜题效应"。OpenAI 通过"尊重警告测试"评估 AI 代理在遇到限制时的行为,并对比去识别化的 实际使用纪录。结果显示,六个模型的测试成绩均比上线后差,差距从 10.2 到 37.4 个百分点不等,其中 GPT-5.6 Sol 与 GPT-6 Sol 的落差最为显著。这与外界担心的模型刻意表现好以通过测试相反,模型常在思考过程中写出"这是测试",比例高达 57% 至 83.7%,而上线后仅为 4.6% 至 23.5%。
关键在于模型对测试意图的误判:GPT-5.6 Sol 与 GPT-6 Sol 有超过 45% 的测试纪录误以为考题是"抵抗提示词注入",即应无视可疑讯息。数据表明,猜对考题的纪录成功率为 61.3%,而猜错的仅为 22.8%。在针对 GPT-6.1 Sol 的实验中,仅提示"这是测试"时成功率从 63.4% 微降至 63.1%;但若告知正确考题,成功率飙升至 91.6%,告知错误考题则暴跌至 17.6%。这证明模型并非单纯因为知道被测试而改变行为,而是基于对考题内容的误解导致了在测试环境中更常绕过警告。

评论
暂无评论