Marvell推出AI內存解聚架構解決推理帶寬瓶頸
涵蓋SSD控制器、CXL擴展及光互連方案,旨在通過算力與內存解耦提升GPU利用率並降低延遲。
據 Woofun AI 消息,Marvell Technology 近日發佈面向 AI 基礎設施的新一代內存解決方案系列,包含服務器級 AI 存儲、機架級 CXL 內存擴展與資源池化,以及多機櫃光互連共享內存方案。該系列旨在應對智能體 AI 推理中日益嚴峻的內存容量與帶寬瓶頸。Marvell 指出,隨着 AI 模型規模擴大、上下文窗口增加及 KV Cache 需求上升,傳統緊密耦合式算力-內存架構難以提升推理效率。通過實現內存與算力資源解耦,內存可獨立擴展,從而提高 GPU 利用率並降低數據傳輸延遲。
此次推出的產品包括 Bravera SC6 PCIe 6.0 SSD 控制器,專爲 AI 推理存儲設計,支持多家廠商 NAND 芯片,預計 2026 年第四季度提供樣片,幫助雲服務商將更多 KV Cache 存入高性能 SSD。
此外,基於 CXL 技術的 Structera X 內存擴展方案支持機架級內存資源靈活共享與分配,降低基礎設施建造成本;Photonic Fabric 光互連方案則構建多機櫃共享內存架構,支持最多 32TB 熱數據 KV Cache 轉移。Marvell 稱,在現有數據中心空間與電力限制下,光互連方案可使 token 傳輸效率提升 2 到 3 倍,支撐更大規模模型及長上下文應用。Marvell 高管 Will Chu 表示,AI 基礎設施正從單一服務器架構向算力、內存與連接協同的系統架構轉變,內存資源的獨立擴展將成爲提升資源利用率與 token 處理效率的關鍵。隨着 AI 智能體及大型模型推理需求增長,內存容量、帶寬及數據傳輸效率正成爲 AI 基礎設施競爭的新焦點。
評論
暫無評論