利好
OpenAI 首席科学家:尚无实验室解决 AI 对齐监控
09:06
Pachocki指出当前缺乏有效对齐与监控手段,呼吁建立共享安全门槛并自愿放缓,GPT-6 Astra对齐技术虽有改善但监控有效性下降。
据 Woofun AI 消息,OpenAI 首席科学家 Jakub Pachocki 在文章《An Alien Mind》中表示,基于内部研究,他预计当前 AI 进步速度可能延续至递归式自我改进阶段,未来数年系统或出现显著能力跃升并推动自身研发。
Pachocki 强调,目前没有任何实验室在 AI 对齐与监控方面取得足够进展,能够长期以最高速度负责任地扩展模型。在建立共同安全门槛前,他预计自愿放缓将成为常态,并建议将 AI 发展列为国际协调优先事项。OpenAI 将继续研究相关技术,必要时单方面暂停扩展。
此外,GPT-6 Astra 虽应用了对齐技术且较 GPT-5.6 Sol 有所改善,但随着模型操控能力及非语言推理能力提升,依赖思维链进行监控的有效性正逐步下降。
WOOFUN AI
影响力评估 · 一键速读
OpenAI 高层公开承认对齐与监控技术滞后于模型能力增长,这标志着行业从单纯追求性能转向重视安全边界。若主要实验室均无法解决监控难题,自愿放缓可能成为短期内的行业共识,进而影响后续大模型的发布节奏。思维链监控有效性的下降提示,现有的安全评估体系可能面临失效风险,需探索新的技术路径。
WOOFUN AI 生成 · 仅供参考,非投资建议
评论
暂无评论