登录
注册
Anthropic 公司工程师 Lance Martin 指出,Mythos 级别模型如 Claude Fable 5 的核心价值并非依赖人类持续的手动指导,而在于构建能够驱动模型自我纠正的自动化循环机制。这一理念正在重塑团队的工作流,其关键在于利用 /ggoal 和 Outcomes 等工具设定明确的评估标准,使模型能够在执行任务后自动接收反馈、调整策略并持续迭代。午方 AI 梳理发现,这种设计良好的目标设定相当于在模型运行环境中植入了一个闭环反馈系统,促使模型在达成目标前不断进行自我修正。为了验证这一机制的有效性,Martin 引入了 Parameter Golf 这一开源机器学习工程挑战作为测试场景,该任务要求在 10 分钟内利用 8 块 H100 GPU 训练出性能最优且文件大小不超过 16MB 的模型,其过程高度模拟了智能体修改底层代码、启动训练、分析日志并决策后续实验的完整闭环。
在 Parameter Golf 的对比实验中,Martin 使用 Claude Managed Agents(CMA)框架,在配备 8 块 H100 GPU 的自托管沙箱环境中对比了 Fable 5 与 Opus 4.7 的表现。实验设计中的一个关键变量在于评估主体的选择:研究发现模型在评价自身生成内容时往往存在偏差,因此采用基于验证机制的独立子智能体进行评分效果更佳。CMA 中的 Outcomes 功能正是通过自动启动评分子智能体来解决这一问题,该子智能体在独立上下文环境中运行,依据包含九项检查标准(如是否运行基线实验、是否完成 20 次实验)的评分文件进行裁决。只有当所有标准被确认满足后,Claude 才会被允许停止工作,这一机制确保了实验的严谨性。
实验数据揭示了 Fable 5 在结构性探索方面的显著优势。结果显示,Fable 5 的训练效率比 Opus 4.7 高出约 6 倍。在任务分类上,Fable 5 更倾向于执行涉及模型架构调整的结构性实验,而非仅进行参数微调的标量实验,从而展现出更强的鲁棒性。例如在处理量化回归问题时,Fable 5 实现了最大幅度的性能改进;相比之下,Opus 4.7 的首次实验仅带来轻微提升,后续实验则陷入“调整参数 - 测量结果 - 若好则保留”的重复模式,缺乏对架构层面的深度探索。午方 AI 注意到,这种差异表明 Fable 5 具备更强的自主规划能力,能够跳出局部最优解,主动寻找更具颠覆性的技术路径。
除了即时循环机制,跨会话的记忆功能构成了 Fable 5 的另一大核心优势,这可以被视为一种外部循环机制。为了测试这一能力,Martin 利用 @pgasawa 团队发布的 Continual Learning Bench 1.0 基准,对比了 Fable 5、Opus 4.7 和 Sonnet 4.6 在连续回答 SQL 数据库查询问题时的表现。该任务要求智能体在多个独立会话中利用共享文件系统记录并检索经验。有效利用记忆通常需经历五个步骤:遭遇失败、分析原因、验证结论、提炼规则以及建立参考机制。Sonnet 4.6 基本停留在记录失败和猜测阶段,极少参考过往记录;Opus 4.7 虽能创建规范文档并标注不确定性,但其验证覆盖率仅为 7% 至 33%,平均测试成功率约为 17%。
相比之下,Fable 5 展现了完整的认知闭环能力。在最佳表现下,其验证覆盖率高达 73%,成功验证了 22 个题目,并能将具体经验提炼为通用规则供后续任务直接调用,无需重复计算。这种能力使得模型能够随着时间推移不断积累知识并优化表现。午方 AI 分析认为,这一结果证实了与其试图通过提示词直接操纵模型行为,不如设计包含反馈循环和记忆系统的环境,让模型在迭代中实现自我进化。对于开发者而言,在高难度任务中配置自我修正机制或记忆功能,将能充分释放 Fable 5 的潜力,相关实践可参考最新的 Claude Code 文档及内置的 /claude-api 技能。