登錄
註冊
據 Woofun AI 消息,美團正式開源參數量達 1.6T 的 LongCat-2.0 大型模型,平均激活值約爲 48B。該模型採用 LongCat 稀疏注意力機制與 N-gram 嵌入技術,旨在提升百萬級長上下文場景下的訓練與推理效率。
LongCat-2.0 是業內首個在五萬張處理芯片組成的國內計算集羣上完成推理的萬億參數級模型。美團針對國產芯片在顯存、帶寬及互連方面的限制,在模型、芯片適配及部署三個層面進行了優化,包括採用 ScMoE 技術、超級內核技術及 PD 分離策略。此次開源同時提供了 BF16、FP8 和 INT8 等多種精度版本及針對國內計算性能優化的推理代碼。