>
正文
思维机器吴丽莲称扩展定律未失效但传统堆算力方法走入死胡同
2026-06-26 13:29

据 Woofun AI 消息,思维机器联合创始人兼首席科学家吴丽莲发表长文探讨人工智能行业的“扩展定律”。面对业界关于网络数据耗尽导致‘数据瓶颈’的质疑,吴丽莲认为扩展定律本身并未失效,但单纯堆叠计算资源的传统路径已陷入困境,亟需转向兼顾数据限制、重复训练及过拟合问题的精细建模方法。

吴丽莲指出,行业已从早期依赖 Kaplan 定律增加参数,过渡至遵循 Chinchilla 定律按比例增长参数与数据量。针对高质量数据稀缺现状,近期研究如 Muennighoff 等人证实重复训练数据价值呈指数级下降,Lovelace 等人在2026年量化分析了模型参数与唯一数据量之比($N/U_D$)对过拟合的影响,并验证了增强型权重衰减等正则化技术的有效性。

吴丽莲强调,扩展定律并非物理定律,而是对工程细节敏感的经验指南。Kaplan 与 Chinchilla 定律的估算误差源于嵌入层参数统计差异及小规模外推的敏感性。在超大规模模型训练中,参数校准或优化器微调均可能引发预测偏差。因此,开发过程不应盲目依赖单一公式,而需在工程实践中严格拟合损失曲线,精确计算参数与唯一数据量之比,通过系统设计突破“数据瓶颈”。

免责声明:本内容为作者独立观点,不代表平台立场。未经允许不得转载,文中内容仅供参考,不作为实际操作建议,交易风险自担。
标签:
Lilian Weng
Li Weng
Kaplan
Muennighoff
Lovelace
Thinking Machines
分享:
back