AI 数据暗战:从冰雪奇缘到默会知识,万亿模型背后的新资产
核心要点
公开数据枯竭引发AI实验室转向企业私有数据,催生百亿级数据经纪市场。本文拆解数据交易内幕、定价困境及‘默会知识’如何成为下一代AI的核心壁垒。
据 Woofun AI 消息,AI 数据市场的正规化进程与荒诞的造假丑闻形成了鲜明反差。一名数据中间商试图向 AI 实验室出售数据集,按行业通行的 TB(太字节)单位报价,因数据真实价值难以量化,他在交付前甚至未查验文件内容。AI 实验室解压后发现,文件夹底层竟藏有约 4000 份《冰雪奇缘 2》的拷贝,这是有人刻意塞入迪士尼电影以虚增数据体量。
尽管该中间商大概率将失去客户,但这并非地下交易,而是过去两年间发展起来的正规 AI 数据经纪市场的一角,其核心业务是向前沿 AI 实验室出售专有数据,仅一家头部数据经纪商的年收入就高达 1.44 亿美元。
这一市场的爆发源于公开数据的枯竭与模型坍缩危机。过去十年,AI 实验室依赖维基百科、红迪网(Reddit)、数字化图书等公开网页训练模型。GPT-3 发布时消耗约 5000 亿 token 文本,而三年后推出的 GPT-5 消耗量已达数万亿 token。随着模型对数据需求激增,2025 年前后数据消耗速度超过新增可用知识库。Epoch AI 测算,高质量公开文本资源大概率将在 2026 至 2032 年间基本耗尽。此前免费爬取的 Reddit 如今每年需支付约 6000 万美元获取存档数据,数百万网站也封禁了爬虫。2024 年一篇论文指出,若用 AI 生成的合成数据替代人类原创文本持续训练,会导致模型输出质量衰减,即“模型坍缩”,反复自我投喂将使模型丧失推理能力。因此,公开网络不再稳定,实验室被迫寻找新来源。
企业私有数据作为沉睡资产的价值被重新发现。这些包括 Slack 聊天存档、邮件记录、CRM 客户数据库、内部维基及员工日常产生的运营数据,已在云存储中堆积十年,被称为“数据尾气”,因其是无意识产生的副产品。赫尔南多・德・索托在《资本的秘密》中描述过类似现象:发展中国家民众拥有住房、土地等资产,但因缺乏制度工具转化为资本,在金融体系视角下等同于不存在。2024 年之前,拥有五年 Slack 历史数据的企业处境相同,员工持续产出有价值数据却无定价机制,因交易市场尚未建立。这类数据是工作的副产品,如汽车行驶产生尾气,人们在无察觉中留下海量信息,企业内部从未统计规模或考虑变现。
市场基建以惊人速度从原油交易类比中确立。原油交易活跃百年,(NYMEX)直到 1983 年才推出标准化原油期货,而 AI 训练数据市场将这一演化历程压缩至不到 24 个月。如今行业已形成标准化条款:两年独家授权期、买方 30 天核验期、60 天付款周期,以及推荐分销网络,数据中间商最高可获交易金额 50% 的佣金。单笔交易平均金额在 20 万至 30 万美元之间,运作方式类似商业地产或特种金融工具,但交易标的可能是屋面工程承包商五年的 Slack 聊天记录。
这种标准化进程解决了早期市场缺乏信任与流程的问题,使得大规模数据交易成为可能。
交易细节揭示了荒诞标的与极度精细的行业需求。AI 实验室对数据需求狂热且精细,中间商收到明确清单,要求获取芯片设计验证流程、湿实验室实验日志、临床试验记录及工厂车间头戴摄像头影像。一名中间商提到,曾收到对屋面承包商、税务事务所、货运公司等冷门内部业务流程记录的需求。AI 实验室几乎涵盖所有垂直行业,包括航空航天、保险乃至兽医。一家年投入数十亿美元训练模型的企业,专门索要货运公司和屋面承包商的内部流程文档,这暴露了其打造能落地执行特定行业日常实务工作的 AI 系统的产品路线图,目标影响几乎所有白领岗位。

评论
暂无评论