单卡时收 38 美元：DeepSeek 开源推理框架

据 Woofun AI 消息， 正式开源其核心推理框架 及编解码组件 ，彻底打破行业黑盒，公开支撑 V4.1 Flash 极致低价背后的工程账本。

架构层面，DeepSeek 将 Prefill 与 Decode 环节读写分离，适配不同算力需求的硬件部署策略。读题阶段（Prefill）使用常见的 8 卡服务器，答题阶段（Decode）则采用 64 到 128 卡的超节点，两者卡数比例约为 1:1。最小部署需 1 组读题加 1 组答题，但为追求划算，起步配置为 64 卡加 64 卡，这套体系专为大规模机房设计，而非个人玩家。

缓存机制是降低成本的关键，KVCache 大幅降低重复计算成本。技术报告显示，平均每个请求携带 77K token 输入，其中 96% 命中缓存。在空闲时段，命中缓存的输入每百万 token 收费 0.02 元，未命中则收 1 元，价差高达 50 倍。一个 77K token 的请求，无缓存时输入成本为 7.7 分钱，命中后降至半分钱以下，便宜十几倍。同一张卡读题，无缓存时每秒处理 6 万个 token，有缓存时达 150 万个，效率提升 25 倍。

为支撑海量缓存，DeepSeek 基于 文件系统构建大规模 KVCache 持久化存储集群，容量约 100 PiB。缓存保留时间设定为：Agent 流量 3 天，聊天流量 7 天，远超基础的 72 小时目标。聊天流量若仅留 3 天，命中率将下降 0.5% 到 1%。数据采用 10 份副本加 2 份校验，即使同时损坏 2 台机器也能恢复，读取时向 11 台机器请求，先回 10 份即可，确保高可用性。

延迟优化方面， 滑动窗口注意力机制与 Bounded Replay 策略显著减少重算开销。V4.1 Flash 中部分层使用 SWA，仅关注最近 128 个 token，短期记忆仅存内存约 3 分钟，命中率仍超 98%。相比 V4 将短期记忆写入硬盘导致近一半缓存容量被占用且收益不成比例，V4.1 改为 ，丢失后仅重算最后 128 个 token，成本固定。

另外 20 层原需重建 2560 个 token 的短期记忆，现仅算 128 个，读题计算量减少近半。线上首字延迟平均 400 毫秒，最慢 1% 也在 1 秒左右。

Woofun AI 整理数据显示，解码加速环节， 投机解码与 CPU/GPU 流水线并行提升吞吐效率。模型每步仅写一个 token，DSpark 先让轻量草稿模块猜 5 个 token，再让大模型一次性检查。把握小的猜测直接跳过，将算力让给其他请求。部署问答显示，每步检查的 token 减少约三成，最终采用长度基本不变，线上吞吐提升 6%。CPU 与 GPU 错开工作，GPU 算第 N 步时 CPU 已排第 N+1 步，避免空转。最终每卡每秒写出 1.4 万个 token，用户每秒可见 230 个 token，写代码场景达 300 个。

负载均衡通过 MoE 专家路由动态分配与请求分级调度优化资源利用率。V4.1 Flash 含 384 个路由专家，答题阶段将专家摊至 64 张卡，每张卡放 6 个，再加 1 个热门专家副本，共 7 个。专家热度每 1000 步统计，每 10000 步重新分配副本，最忙卡仅比平均忙 9%。读题按输入长度分 4 档：16K 以下、16K 到 64K、64K 到 256K、256K 以上，按需调配机器。答题同时考量请求数与笔记长度，短请求给请求少、笔记长的卡，长请求反之，整体效率达理想状态的八成。