登錄
註冊
據 Woofun AI 消息,半導體與AI研究機構 SemiAnalysis 分析指出,儘管 Kimi K3 在網絡層採用 KDA 機制,將 KV 緩存傳輸帶寬需求降低多達 10 倍,但這並未導致 AI 網絡交換機市場需求萎縮。
Kimi K3 擁有 2.8 萬億參數,每次前向計算需約 1.5TB HBM 帶寬。其 WideEP 擴展服務將 896 個專家模型分配至多個 GPU,每層及每次前向計算需進行兩次 Token 派發與合併,單次前向計算涉及超 120 次處理流程。相比之下,KV 緩存傳輸每輪對話僅發生一次,KDA 節省的帶寬遠低於大規模專家模型引發的額外網絡需求。SemiAnalysis 認爲,效率提升可能推動上下文長度從 100 萬 Token 增至 500 萬以上,依據傑文斯悖論,AI 應用規模擴大將進一步增加網絡需求。