临时插播，刚看到一份智谱的专家访谈纪要，里面透露了一些智谱目前最新的模型研发进展。
（对于行业外人士简单介绍一下，专家访谈一般是投资机构了解产业界的一种手段。通过一些服务平台，约到各行各业的专家咨询，按几千一个小时计费。我以前也经常打这样的专家 call。
敏感数据问题或者商业机密，有些在职是不会说的，但是离职员工或者无所顾忌的人也还是会有。我甚至约到过创始人本人……）
纪要内容不长，我把原文和要点总结在下面，红字是个人解读。这种信息呢，也不是公司公告，可信度不好说，大家自行判断。
1）近期传闻智谱将于 10 月底发布 1.6T 参数的新一代模型 GLM5.5，是否属实？新模型的具体规划如何？
答：该传闻不实。新一代基座模型的实际参数规模在2.5 万亿至3.5 万亿区间，模型架构较为激进，既要训得快，也要推得快，同时压低推理端成本，目标是在模型发布第一天即可提供大规模服务。已有多家云厂商开始就分成模式进行洽谈。为支撑这一激进方案，智谱也补强了 infra 团队。
2）新模型的发布时间为何没有市场预期的那么早？
答：基座训练前段时间并不顺利，训练过程中出现了loss不降的情况。激进的架构改进必然伴随较高风险。但是最近该问题应该已经解决了，预计很快能够完成训练。从目前情况判断，下一代模型发布后将达到Fable级别的旗舰水平。
（这里说是辟谣，感觉是秀肌肉。毕竟现在 1.6T 真的也不够看了。目前还在牌桌上的主流大模型都在奔着 3T 去。要在这个规模上，还要压低推理端的成本，直接上来提供大规模服务，因为中间有点波折，所以时间晚了点。话说现在马上 10 月底了，坐等测评看能不能达到 fable 旗舰水平。）
对于云厂商分成这个模式，不是什么全新的商业模式，可能对规模性的扩大收入有一定的好处。）
3） 国内厂商训练上万亿基座的模型面临的核心难点是什么？(非技术背景可以跳过这段)
答：国内各家模型厂商都在考虑 5 万亿参数规模的训练，训练难度显著加大。国内目前可能还没有一家能够完整、稳定地训练完成 2 万亿参数的模型。
需要说明的是，“成功完成训练”和“训完一个模型”是两码事。没有成功完成训练也就是常说的训崩了，超大参数模型训练中的“训崩”主要有两类：
loss spike ：成因包括 Attention logit growth 、 Output logit divergence 、 Stale optimizer state 、 Bad batch × bad state 、 Residual/norm growth 以及 Numerical overflow 等。
loss 不降：这类更棘手，表现为走平甚至逐渐升高。架构改动过于激进、模型参数过大、不同卡的数值精度差异都可能是原因。
模型越大，踩中这类不稳定的概率越高。最简单的例子是每层梯度求和，规模越大，溢出的可能性也就越大。
此外还有最后一种崩，要到后训练阶段才能体现出来，即后训练怎么都上不去。这种情况代价最大，只能下架重训。
从行业案例看，市场传闻 Kimi K3 的预训练数据并未全部过完，原因应是出现了 loss 不降，只能硬上后训练。但即便如此效果依然不错，也让行业看到了 scaling 的威力。另有传闻称 DeepSeek V4 属于后训练阶段才暴露问题的情况。
智谱之前被称为“后训练仙人”，如果确实已经搞定了 3T 级别的预训练，后训练环节应当比较有把握。
（技术解读，参数规模在扩大之后的训练难点，讲真这个我判断不了，大家自己看。）
4）海外厂商的反蒸馏措施会对国内模型产生什么影响？智谱在数据和技术路线上如何应对？
答：近期 Anthropic 和 OpenAI 已经采取了反蒸馏措施，例如通过 API 报错和上下文篡改机制来限制蒸馏。这些举措将对依赖该路径的模型迭代产生较大影响，因此业内普遍判断，国内模型性能的大幅提升可能会受到限制。
但是对智谱来说，已经在局部解决了数据问题，坚定走 Claude 体感路线，通过持续的后训练来刷新和提升模型能力，包括在后训练阶段对任务环境的大量投入。
例如 GLM-5 系列的一个基座模型可以使用半年以上，通过后训练工程化持续刷新能力。
（根据路透社 10 月份的报道，Anthropic 声称反蒸馏措施已经将相关数据的获取量降低 90%~99%。这个纪要的意思是在说智谱自己不依赖蒸馏数据，已经自己建立数据生产能力的飞轮，有可持续的技术自主性。）
5）RSI 和 Loop 等技术方向目前进展如何？
答：RSI已取得一些进展，但尚未成为模型能力提升的主力。Loop相关技术应已较早解决，估计会在某个版本中直接进入服务，公司在公开场合对此也有所提及。
（RSI 就是今年最火的“递归自我改进”，就是让模型来训模型，左脚踩右脚直接飞升。目前全球主流大模型厂商和 Frontier lab 都在押注这个路线。未来大模型的竞争不是算力数据层面，而是怎么早日进入自我强化的正向循环。
loop 是另外一件事，是指怎么在不增加太多参数的情况下，可以让模型用循环复用计算层的方式，以更低的成本完成相同难度的任务。专家意思是说这个已经验证了。）
6）下一代模型在推理优化上的进展如何？
答：此前大参数模型普遍面临"发得出、供不上"的问题，发布初期往往需要限流。新一代模型在设计阶段就把推理效率和推理成本作为硬约束，目标是发布首日即可大规模服务，这将直接改善旗舰模型的商业化节奏。
（结束）
总之，看完纪要，我还挺期待下一代模型的。国内就是擅长把东西搞得又好又便宜哈哈哈。
国内来说，一直都是希望两手抓，两手都要硬。又要搞出最新的 Sota 模型，同时商业化也不能落后。这个平衡还挺难把握的。
最近全球二级市场都不太好，国内的 AI 科技股价严重承压。而OpenAI 和 Anthropic 虽然还没上市（Anthropic 估计下个月），就已经在私募市场疯狂抢钱，不仅要股权，也要债权，争夺投资人，同时也在争夺算力资源。
估值也听说有所调整，之前是在 2 万亿左右，现在调整到 1.4~1.5 万亿美金。
纪要里没有提到 ARR 收入这一块，按照 8 月的电话会纪要口径是 16 亿美金，如果智谱按年底能到 30 亿美金指引算，估值比海外同行低近一半。
哎，都是豪赌啊。。。。。。
我是佩妮，关注我，一个只说真话的创投人
热门跟贴