张一鸣对蒸馏说不。 8月5日，在字节跳动人工智能团队Seed的内部会议上，张一鸣明确表示，做模型要坚持长期主义和延迟满足感，不能“用别人的输出，换一时的榜单排名”。即使模型能力暂时落后，Seed也不会依靠蒸馏外部模型来加快追赶。字节内部人士还称，公司对蒸馏开源模型设置了严格限制，并通过API检测加强管理。相关信息来自媒体转述，字节尚未公布完整会议内容。(北京新闻) 要理解这句话，首先要把“蒸馏”说清楚。
蒸馏并非旁门左道，而是人工智能领域成熟、正常的技术路径。2015年，杰弗里·辛顿、奥里奥尔·维尼亚尔斯和杰夫·迪恩在论文《神经网络中的知识蒸馏》中，系统阐述了这种方法。
简单地说，就是先让规模较大、能力较强的“教师模型”处理问题，再让更小的“学生模型”学习教师模型的输出。学生不仅学习最后的答案，还可以学习教师对不同答案的概率判断。辛顿等人的实验表明，通过蒸馏，可以把复杂模型或模型集群的部分能力压缩进单一模型，使小模型获得更好的性能，也更容易部署。(arXiv)
因此，企业用自己的大模型训练小模型，降低推理成本，提高运行效率，没有任何问题。在许可范围内利用开源模型进行蒸馏，也是常见的工程方法。
张一鸣反对的，是将外部前沿模型当成主要老师，用别人已经形成的答案和推理结果，训练自己的基础模型。
这条路短期内很有吸引力。
从头收集数据、设计架构、改进训练方法，需要大量人才、算力和时间，还要经历无数次失败。蒸馏则可以直接学习成熟模型处理数学、编程和推理任务的方法，迅速提高特定测试中的成绩。
它很像学生跟着优秀教师学习解题。老师把答案、步骤和判断方法都讲清楚，学生的成绩当然会迅速提高。
但蒸馏主要传递的是已经存在的能力。教师模型走到哪里，学生模型通常才能学到哪里；教师采用什么路径，学生也容易沿着同一条路前进。它能够帮助后来者缩小差距，却很难自动带领后来者越过教师模型已经到达的边界。
与从数据、架构、训练方法、评测体系和基础设施开始，一砖一瓦搭建自己的技术体系相比，蒸馏更容易在短期内拿出成绩。榜单排名上升了，产品发布有了亮点，市场也会认为技术差距正在缩小。
长期风险则是路径依赖。
团队习惯等待别人发布新模型，再分析如何吸收对方的能力；习惯在别人已经证明有效的方向上迅速跟进；习惯把追平榜单当成技术突破。最后可能拥有很强的模仿和工程优化能力，却始终缺少提出新问题、设计新架构和开辟新路线的能力。
这才是张一鸣拒绝依赖外部模型蒸馏的关键。
但这件事真正值得关注的，还不是一项技术规定，而是张一鸣再次进入了创业状态。
需要说清楚，字节跳动并不是张一鸣事实上的第一次创业。他是一名典型的连续创业者。
南开大学毕业后，他先与师兄创业开发企业协同办公系统，后来参与酷讯和饭否，又独立创办房产搜索平台九九房，2012年才成立字节跳动。搜索、信息处理、内容分发、移动产品和团队管理等能力，都是在前面几次创业中逐渐积累起来的。字节跳动不是凭空诞生的奇迹，而是连续试错之后形成的成果。(中国新闻网福建频道)
因此，所谓“再次创业”，不能简单按照他注册过几家公司来计算。
更准确地说，这是张一鸣完成字节跳动这一重大创业周期之后，再次进入一个全新的技术周期。他已经建立了一家全球性互联网公司，也退出了日常经营，本来完全可以停留在投资者和战略顾问的位置上。
但他没有。
2021年卸任字节跳动CEO时，张一鸣曾表示，自己将放下日常管理，专注学习知识、系统思考、研究新事物和动手尝试，“以十年为期，为公司创造更多可能”。当时很多人把这理解为功成身退，现在回头看，更像是在为下一轮创业腾出时间。(新浪财经)
2023年，有接近张一鸣的人向媒体透露，他正在阅读OpenAI的一系列论文，经常读到深夜，想弄明白太平洋对岸究竟发生了什么。这不是张一鸣本人公开确认的信息，但后续行动与这一说法基本吻合。(36氪)
从2024年下半年开始，他定期参加Seed核心技术团队的复盘和讨论会，经常与人工智能研究人员和技术骨干交流。他没有重新接管广告、电商和短视频等成熟业务，而是把注意力放在基础模型和前沿研究上。(21经济网)
这已经不是一个退休企业家对热门行业的围观，而是重新创业。
过去的张一鸣，抓住了搜索、移动互联网和推荐算法的机会。今日头条、抖音和TikTok解决的核心问题，是如何判断用户喜欢什么，再把合适的内容推送给合适的人。技术最终服务于产品、流量和商业模式。
今天面对的问题更加底层：机器如何推理，如何理解世界，如何完成复杂任务，如何产生训练数据中没有现成答案的新知识。
过去，字节擅长应用算法；这一次，张一鸣想让它从头参与建造智能。
这也解释了他为什么对蒸馏如此敏感。如果目标只是把豆包做成一款便宜、好用、用户众多的产品，字节完全可以充分利用成熟技术。产品迭代、数据测试、流量分发和规模推广，本来就是字节最擅长的事情。
但如果目标是建立基础模型的原创能力，只追赶别人就不够。必须从数据、架构、训练方法和评测体系开始，形成完整的技术链条。
这甚至意味着，张一鸣需要抛弃字节过去最成功的经验。
字节强调快速试错、数据反馈和指标管理。哪个方案有效，就迅速扩大。这套方法适合互联网产品，却未必适合基础研究。基础研究可能长期没有成果，一次训练可能耗费巨额资源后归于失败，真正重要的方向在最初阶段甚至无法被现有榜单准确评价。
拒绝依赖蒸馏，实际上是在告诉团队：可以暂时没有漂亮的排名，但必须弄清楚能力究竟是怎么建立起来的。
当然，不蒸馏不会自动带来原创。独立训练也可能失败，投入巨大也未必能够找到新路线。但从熬夜阅读OpenAI论文，到定期参加技术讨论，再到亲自给Seed划定技术边界，张一鸣的状态已经很清楚。
他不是重新管理一家成熟公司，而是再次把自己放回创业者的位置，重新承认未知，重新学习技术，重新接受失败和落后的可能。
过去的连续创业，最终产生了字节跳动。
这一次，他希望从一篇篇论文开始，重新理解智能究竟是怎样被创造出来的。
热门跟贴