腾讯混元 Hy4 开源：7700 亿参数 100 万上下文

Hy4采用MoE架构，激活参数49B，强化代码与办公场景，并接入多款腾讯产品。

据 Woofun AI 消息，腾讯发布混元 Hy4 preview 模型，该模型采用 MoE 架构，总参数达 7700 亿，每次激活参数为 490 亿，上下文窗口扩展至 100 万。相比上一代 Hy3，其总参数规模增长超两倍，长上下文能力扩大约四倍。

Hy4 重点优化代码、办公、游戏及科研等真实任务场景，具备从零构建 Three.js 3D 网站、在 Unity 中开发可玩游戏 Demo 以及一次处理 72 份财务文件，检查重复报销、额度超限和预算异常的能力。该模型已与 WorkBuddy、CodeBuddy 等产品协同训练，并初步实现参与自身研发流程的自我改进循环。目前 Hy4 preview 已接入 WorkBuddy、CodeBuddy、元宝、ima、腾讯云 TokenHub 及 OpenRouter。