11月12日,据“Tech商业”消息,字节跳动创始人张一鸣近期再次在内部分享中谈及AI业务。
张一鸣表示,字节有能力与OpenAI和Anthropic展开竞争,但真正追平前沿技术水平,“最早也要到2029年或2030年”。字节跳动的大模型需要对标国际第一梯队。
另外,张一鸣对字节AI发展提出担忧:来自预训练数据规模的差距。他在内部会议上坦言,字节跳动Seed系列大语言模型使用的预训练数据集,比美国顶尖竞争对手使用的数据集小了几个数量级。

打开网易新闻 查看精彩图片

除了数据短板,张一鸣在会上重申了一条关键纪律:字节跳动不应依赖“蒸馏”,即利用更大模型的输出进行训练。
据此前报道,他曾在Seed团队内部会议上明确表示,字节不应依赖模型蒸馏来提升自身模型能力,而应坚持长期主义,即使因此暂时落后于竞争对手,也不应为了短期榜单排名使用其他模型的输出训练自己的模型。