DRAM 砍半效能不减?AMD MEXT AI 预测记忆体技术拆解
核心要点
AMD推出MEXT技术,利用AI预测将冷记忆体页卸载至NVMe SSD,宣称仅用一半DRAM即可维持 95%效能,预计 2027 年部署 2000 台服务器以缓解记忆体荒。
据 Woofun AI 消息,AI 需求推升 DRAM 价格,连不跑 AI 工作负载的一般企业也感受得到记忆体涨价的压力。对此, 发表预测式记忆体引擎"",宣称服务器仅使用一半 DRAM 也能保有高达 95% 的效能,将有效缓解记忆体荒。
Tom's Hardware 指出,MEXT 的核心概念并不复杂:服务器的记忆体里,其实有大量很久没被碰过的"冷记忆体页"。MEXT 把这些页面卸载到相对便宜的快闪储存(NVMe SSD),再由 AI 模型预测哪些页面即将被使用,在需要之前先搬回 DRAM。对作业系统而言,被卸载的那部分记忆体仍然算作已安装的 DRAM。AMD 与 MEXT 创始人 的说法是,依应用程式与效能目标不同,服务器可以少用 20% 至 75% 的实体 DRAM。AMD 用一个例子说明冷页有多普遍:"一台看起来记忆体全满的 1.5TB 系统,任一时刻约有一半的页面已超过五分钟没被碰过。"此时,搭配的 工具,就是用来观察哪些页面是热的、哪些是冷的。
报导指出,MEXT 的核心是 Transformer 架构的模型,但它与 LLM 预测下一个字不同,预测的是下一个将被使用的记忆体页。只要预测够准,并在 SSD 传输延迟内把页面送回 DRAM,效能就能达标。页面也不必依序搬回,只要在被使用前进入 DRAM 即可。部署上,MEXT 以 Linux kernel module 形式运作,相容任何 Linux 发行版。模型不需要预训练,首次部署的训练时间不到一秒,只用一颗 核心、无需 GPU,且会随工作负载变化持续学习。这也是 MEXT 的双面刃:成败不取决于平均效能,而在于预测准确率。一旦预测失误,页面得从 SSD 即时读回,延迟就会反映在应用程式上。报导引述的 AMD 数据中,并未看到预测命中率的数据。
Woofun AI 整理数据显示,AMD 公布了几组内部测试成绩: PrimeTime 在一半 DRAM 下拥有 95% 效能,DRAM 剩 25% 时拥有 80%。Spark SQL 在 上以第五代 EPYC 建立的三节点丛集中,在一半 DRAM 下保有 99% 效能。Agentic AI 方面,五个 agent 同时执行时,在一半 DRAM 下仍保有 99% 效能,剩 25% 时保有 85%。AMD 强调,多数工作负载合理的容量缩减幅度约在 20% 至 25%;缩减越多,方案越需要针对特定应用调整,效能落差与不稳定性也越大。
AMD 已在内部 145 台服务器上部署 MEXT,2027 年将扩大到 2,000 台,并与 合作,把 MEXT 带给客户。目前属于第一阶段:部分 EPYC 服务器会挂上"MEXT Ready"标章,并配备专用的 NVMe 硬碟或扩充槽。第二阶段,MEXT 授权将连同 RAM View 一起提供,但 AMD 尚未公布时程。
目前,MEXT 仅支援 EPYC,应用范围相当受限,未来有望延伸到 等消费级产品,但距离实现恐怕还很遥远。

评论
暂无评论