字节跳动启动 10 万亿参数大模型预训练

Woofun AI 获悉，字节跳动已启动最高 10 万亿参数大模型的预训练工作，该项目目前处于早期阶段，最终规模尚未确定。若按上限执行，该模型参数量将是 的三倍以上，成为已知中国团队中规模最大的模型，并在参数量级上接近 Anthropic 的 （行业估算约 8 万亿参数）。

目前模型正处于利用海量数据训练基础能力的预训练阶段，该过程通常耗时 3 至 6 个月，随后还需进行后训练方可发布。字节跳动创始人近期在 内部明确反对蒸馏竞争对手模型，要求团队接受短期落后，依靠自研技术冲击世界第一梯队，此次大规模参数投入被视为字节最激进的自研下注。