笔电离线写飞行模拟器:OpenAI 前 CTO 开源 Inkling 2 Mini
核心要点
Thinking Machines Lab开源Inkling 2 Mini,采MoE与回圈架构,20GB记忆体即可在消费级笔电离线执行,程式编写能力同级领先。
据 Woofun AI 消息,OpenAI 前技术长 创办的 AI 新创 ,于美国时间 11 月 20 日正式开源新模型 。该模型仅需约 20GB 记忆体即可在消费级笔电离线执行,研究员甚至在飞机开飞航模式下,使用一台 MacBook Pro 让其在几分钟内写出一个可游玩的飞行模拟器,展现了极端场景下的实用性。
Inkling 2 Mini 采用"混合专家"(MoE)架构,总参数达 264 亿,但每个字实际运算仅调用 34 亿参数。模型权重主要采用 4 位元的 NVFP4 格式,最后 4 层则使用 8 位元的 MXFP8,部署时无需额外压缩转换,确保性能不损耗。官方表示,该模型支援 32GB 记忆体以上的 Mac 通过 执行,英伟达的 DGX Spark 桌上型 AI 电脑亦能运行。其核心创新在于独特的"回圈"推理机制:模型共 24 层,分为 4 段,处理每个字时,头尾两段各跑一次,中间两段重复跑三次,相当于用 24 层参数实现 48 层的运算深度。官方实验显示,将回圈置于中间 12 层,在 28 项评测中有 27 项表现优于置于最后 12 层。
然而,这种设计带来了运算代价:与无回圈版本相比,训练成本少 7.5%,但为达到同等表现,推论时需多花 140% 的运算量。Woofun AI 整理数据显示,该模型在 上以 Apache 2.0 授权开源,允许商用,并已整合至 Thinking Machines 的微调平台 ,支援 、 等常见开源工具。
在性能基准测试中,Inkling 2 Mini 展现出强大的程式编写能力。在 测试中,其得分为 48.2%,超越同级的 (42.2%);在综合测试 中得分 46.5%,均为同级第一。与 、Qwen3.8-27B 等模型相比,在 48 项测试中,Inkling 2 Mini 有 32 项领先。
然而,回圈架构并未增强模型的知识记忆能力,事实类问答分数与同规模模型相当。官方指出,模型通过搜寻和工具补足知识,在 等需上网查资料的测试中表现领先。
同时,模型在多轮对话与复杂条件指令方面落后于 Qwen3.8-27B,且在 等高难度推理测试中,仍不及更大规模的模型。
回圈架构引发了关于可监督性的争议。由于模型在内部多算几步再输出,外界担忧部分推理过程不会写出,导致思维链监督困难。Thinking Machines 为此开源了一个可调回圈次数的研究版模型。测试显示,在不写推理直接作答的情况下,模型能完成的任务长度从跑一遍时相当于人类 16 秒的工作,增加到跑三遍的 37 秒,之后大致持平。跑五遍时,模型的推理文字平均为 1,661 个字词,不到跑一遍时 3,703 个的一半,但句子长度与用字比例未变,仍可读懂。在模拟恶意任务的 测试中,偷偷完成恶意任务而不被抓到的比例未随回圈次数出现明显趋势。官方强调这是初步结果,研究版模型的强化学习仅用三遍回圈训练,更大规模模型可能会更擅长压缩推理,因此开源以邀请社群共同研究回圈模型的可监督性。

评论
暂无评论