全球首现 AI 算子形式化验证,DeepSeek 与 FlashAttention 漏洞曝光
核心要点
CertiK与哥伦比亚大学发布TensorLean成果,完成生产级AI算子形式化验证。在 149 个GPU内核中发现 38 个正确性问题,涵盖DeepSeek DeepGEMM及FlashAttention,为大模型训练提供数学级正确性保证。
据 Woofun AI 消息, 与哥伦比亚大学研究团队于 11 月 20 日联合发布 技术成果,标志着全球首次实现生产级 AI 算子的形式化验证。
这一突破将数学证明引入经过复杂性能优化的真实 AI 计算代码,旨在为大模型厂商在提升训练速度与降低推理成本的过程中,提供更为严格的正确性保障。在大模型的训练与生成过程中,底层计算程序——即运行在 GPU 上的 GPU 内核——起着决定性作用。任何一处细微错误都可能导致系统在看似正常的运行中产生错误结果,进而污染后续输出,甚至导致整个训练过程偏离预期目标。以情景测算为例,若一次投入 1 亿美元算力的训练中有 1% 的计算因错误需要重做,将直接导致 100 万美元的额外浪费。形式化验证的核心价值在于通过数学证明排除错误与漏洞,相较于仅通过具体样例寻找问题的常规测试,它能够证明程序在规定的输入和运行条件下始终符合要求,不存在验证范围内的错误与漏洞。
将形式化验证应用于生产级 AI 代码的主要难点在于处理真实的性能优化。GPU 程序在运行时会同时搬运数据与进行计算,随任务大小动态调整运行安排,并采用更低精度的运算方式。TensorLean 能够同时处理这些复杂条件,直接验证程序编译后生成的 PTX 代码,证明计算在规定条件和误差范围内符合要求。所有证明均在 系统中完成,并可通过机器进行验证。研究团队成员和指出,这些复杂优化正是生产级 AI 代码实现高速运行的关键,其挑战在于在不忽略真实运行条件的前提下完成证明,使严格验证能够适用于实际使用的高性能代码。
Woofun AI 整理数据显示,研究团队对 149 个已编译的 GPU 内核实例进行了评估,并通过形式化证明验证了其中 83 个符合相应的 Lean 规格。此次研究覆盖不同代际的 GPU 架构,并涉及 的 以及广泛使用的 算子库。团队在 6 个库中共发现 38 个正确性问题,其中 DeepGEMM 包含 2 个问题,FlashAttention 包含 23 个问题。
CertiK 联合创始人、哥伦比亚大学计算机系教授强调,发现漏洞后,还需证明修复后的程序在规定条件下符合要求。对于大模型厂商而言,每一次提速都应有可靠的正确性依据。团队希望让这种严格验证跟上代码迭代,将计算错误的风险尽量挡在大规模训练和部署之前。这项成果对大模型厂商的实际价值体现在每一轮性能优化中。代码更新后,研发团队除测量速度提升外,还可重新执行验证,检查优化是否引入计算错误,并对满足要求的程序给出可由机器核验的证明。这有助于降低算力浪费、训练返工以及错误结果流入后续计算的风险。同类计算可复用已有的验证要求,使该方法能够应用于更多内核,并随代码更新反复执行,为持续提高 AI 计算效率提供更可靠的基础。
值得注意的是,今年 10 月 Anthropic 也公布了利用 Claude 为开源软件构造数学证明的研究,而 TensorLean 则聚焦于 AI 自身的底层计算,展示了自动化形式化验证在生产级 AI 代码中的应用价值。
从产业演进角度看,形式化验证从传统软件领域向 AI 基础设施层的渗透,标志着大模型开发正从'经验驱动'向'数学保障'转型。DeepSeek 与 FlashAttention 作为行业核心算子,其漏洞的暴露与修复验证流程的确立,为整个 AI 计算栈的安全性树立了新标杆。随着算力成本持续攀升,任何微小的计算错误都可能被放大为巨额经济损失,因此,建立可机器核验的正确性证明体系,将成为大模型厂商在追求极致性能时的必要基础设施。

评论
暂无评论