登录
注册
据 Woofun AI 消息,腾讯发布 Hy3 大模型的 1 位和 4 位压缩版本,显著降低 2950 亿参数模型的部署门槛。原始模型体积近 600GB,1 位版本缩减至 85.5GiB,可在单张 96GB 显存的英伟达 H20 显卡上运行;4 位版本体积为 169.9GiB,需至少两张 H20 显卡支持。
腾讯表示,4 位版本在代码处理、工具调用及长文本理解等任务上表现与原始模型极为相似,1 位版本仅有轻微下降。开启生成加速后,1 位和 4 位版本的运行速度分别提升约 50% 和 60%。此外,腾讯还推出了适用于服务器部署的 4 位版本,可转化为 API 供多用户调用。