一边蒸馏全人类,一边拒绝被蒸馏?邓煜这句话戳中了AI行业最拧巴的地方

字号

最近知乎上有个问题热度冲到了112万,讨论的是菲尔兹奖得主邓煜对AI公司的一句评论——「你不能只在你蒸馏全人类的知识时支持蒸馏」。话说得挺克制,但刀锋很利。翻译成大白话就是:你们拿着全网几十年的文字、代码、论文、论坛帖子训练模型的时候,管这叫“技术普惠”;等别人想蒸馏你们模型的时候,你们就开始谈“知识产权”和“服务条款”了。

这事儿之所以能炸,不是因为大家不懂商业,恰恰是因为大家太懂了。

先说说“蒸馏”到底是个啥

很多朋友看到这个词以为是化学实验。在AI语境里,蒸馏(distillation)指的是用一个大的“教师模型”去生成数据或软标签,来训练一个更小的“学生模型”。学生模型不需要从零啃原始语料,而是直接学老师输出的概率分布。效果往往不错,成本却低得多。

这在学术界本来是常规操作,Hinton 2015年那篇经典的蒸馏论文就是公开方法。问题出在:当“老师”是一家商业公司的闭源模型,而“学生”是竞争对手时,性质就变了。OpenAI、Anthropic 这些厂商的用户协议里,基本都明确禁止用其模型输出去训练竞品。技术上这叫“反蒸馏”,商业上这叫“护城河”。

邓煜那句话的真正矛头

邓煜是2022年菲尔兹奖得主,做数学的,说话讲究逻辑对称性。他的质疑其实是一个互惠性问题:大模型厂商的整个存在前提,是建立在“未经逐一授权地使用全人类公开文本”之上的。这个行为在法理上至今仍有争议,在伦理上更是被大量创作者诟病。厂商的辩护词通常是“合理使用”“促进创新”。

好,那现在别人用你的输出去蒸馏,逻辑上不也是“促进创新”吗?你凭什么翻脸?

这不是说反蒸馏一定错。商业公司保护自己的推理成本和研发投入,完全正当。但邓煜点破的是话语体系的双标:你不能在输入端主张“知识应该自由流动”,在输出端又主张“我的输出是我的私有财产”。两头的好处都让你占了,那这个行业的伦理叙事就站不住。

反蒸馏为什么越来越严?

有个容易被忽略的背景:合成数据的污染问题。如果市面上大量小模型都是蒸馏大模型来的,而大模型又在爬这些内容,就会形成“模型吃自己的呕吐物”的退化循环。厂商反蒸馏,一部分动机确实是防止这种生态级污染,这点得客观承认。

但另一部分动机很现实——蒸馏直接侵蚀API调用量。你花几千万美元训的模型,别人用几十万美元蒸馏出一个“平替”,然后低价卖。这在商业上就是釜底抽薪。所以反蒸馏条款本质上是用法律手段维持技术代差。

我的看法

我觉得这件事没有纯粹的“对错”,但有一个绕不过去的一致性要求。

如果模型厂要反蒸馏,那就应该同时支持输入端的数据授权和创作者补偿机制。你不能一边说“训练用全网数据是合理使用”,一边说“蒸馏我的输出是侵权”。这两种行为的底层逻辑是同一个:知识的公共性与私有性边界在哪里。

邓煜这句话之所以有分量,不是因为它给出了答案,而是因为它把一个行业心照不宣的双标摆到了台面上。112万热度说明大家早就想问了——只是这次问的人,分量够重。

对普通用户来说,短期影响不大,该用还得用。但长期看,这场关于“蒸馏权”的争论,会决定未来AI生态是几个巨头封闭花园,还是真有一个开放的知识循环。值得盯着。

标签 模型蒸馏 反蒸馏 邓煜 AI版权 大模型训练数据 知识公共性
手机扫码阅读

微信或手机浏览器扫一扫,随时随地随心阅读与分享

收藏 0