腾讯 Hy4 量化版体积降至 214GB

腾讯发布Hy4 preview极限量化版，模型体积由1.5TB缩减至214GB，平均精度2.38 bpw，显著降低770B MoE模型本地部署门槛。

据 Woofun AI 消息，腾讯混元在 Hy4 preview 开源后推出极限量化版，将原始接近 1.5TB 的模型权重压缩至约 214GB 的 GGUF 格式。该版本采用分层混合精度策略，对低敏感层量化至约 1.31-bit，高敏感层保留 2-bit 及以上精度，整体平均精度约为 2.38 bpw。在四项评测中，其性能相比 BF16 原版仅下降 0.2 到 1.6 分。

此外，腾讯结合 prima.cpp 测试了异构设备联合推理方案。使用一台 RTX 4090 笔记本与一台四卡 A4000 服务器（总计 80GB 显存和 64GB 内存），模型推理速度达到 1.02 token/s，较笔记本单机 offload 模式提升约 6 倍，支持多配置设备共同分担推理负载。