登录
注册
据 Woofun AI 消息,美团正式开源参数量达 1.6T 的 LongCat-2.0 大型模型,平均激活值约为 48B。该模型采用 LongCat 稀疏注意力机制与 N-gram 嵌入技术,旨在提升百万级长上下文场景下的训练与推理效率。
LongCat-2.0 是业内首个在五万张处理芯片组成的国内计算集群上完成推理的万亿参数级模型。美团针对国产芯片在显存、带宽及互连方面的限制,在模型、芯片适配及部署三个层面进行了优化,包括采用 ScMoE 技术、超级内核技术及 PD 分离策略。此次开源同时提供了 BF16、FP8 和 INT8 等多种精度版本及针对国内计算性能优化的推理代码。