2026年,一个只有7.39B参数的模型,在AIME这类奥数竞赛题上跑出了75%的准确率。这个数字放在两年前,大概会被认为是天方夜谭。更让人意外的是,它在一项叫做Binary Function Search的二进制逆向工程任务上,准确率达到62%,只比参数量是它几十倍的GLM-5.1低4个百分点,却把GPT-4o远远甩在身后。
这就是ZGCM-1,一个来自中关村研究团队的开源基座模型。它想挑战的,是这个领域里一条几乎被当作铁律的假设:想要做出聪明的模型,就得堆参数。
**这条铁律背后藏着一个更深的问题:大部分能打的模型,训练秘方都是黑箱。**
你能拿到权重,但拿不到数据配方,拿不到训练曲线,拿不到中间检查点。这意味着,哪怕你想复现一个结果,想搞清楚某个设计到底是不是关键,你都做不到。ZGCM-1这次选择把所有东西都摊开:从预训练到后训练的每个阶段权重、训练代码、数据配方、W&B日志,全部公开。
这篇文章想聊清楚的,就是这个7B模型是怎么做到"以小博大"的,以及这套开源到底开放到了什么程度。
一个反直觉的起点:小模型靠什么补短板
先说清楚问题出在哪。
一个7B的模型,参数容量是硬约束。你可以把参数量理解成一个人脑子里能记住的东西的总量,7B模型注定记不住千亿模型能记住的那么多世界知识和长尾细节。如果只靠死记硬背互联网上的文本去堆知识密度,7B模型永远打不过千亿模型,这是物理规律,不是靠调参能绕过去的。
ZGCM-1团队想的是另一条路:既然记不住那么多,那就让模型学会"主动去查"和"仔细去想",而不是被动地把知识压缩进参数里。
这就好比考试的时候,有的学生靠海量刷题把所有题型都背下来,遇到没见过的题就傻眼;另一种学生题做得不多,但特别擅长两件事:一是遇到难题会一步步推理,把复杂问题拆解成小问题;二是遇到不确定的知识点,会主动翻书查资料,而不是硬编答案。
**如果没有这套"深度思考+主动查证"的机制,一个7B模型在知识密集型任务上几乎必然被更大的模型碾压。**
ZGCM-1的核心设计,就是把这套机制系统化地训练进模型里,让它在处理数学题、二进制分析这类需要多步推理和工具调用的任务时,展现出和参数量不匹配的战斗力。
要实现这套思路,光有想法不够,还得解决三个硬骨头问题:怎么把256K这么长的上下文塞进有限的算力预算里跑起来、怎么设计训练课程让模型学会分步推理、以及怎么组织一整套研发流程让效率不至于被学术预算卡死。下面这几部分,就是团队交出的答案。
混合注意力:省内存的秘密武器
先讲一个大部分人可能没意识到的问题:上下文越长,推理成本涨得越离谱。
传统的Transformer模型用的是全注意力机制,每生成一个新词,都要把前面所有的词重新看一遍。这个机制在处理短文本时没什么问题,但一旦上下文长度冲到256K token,存储这些历史信息所需要的显存(也就是所谓的KV缓存)会爆炸式增长。
**ZGCM-1的做法是把32层网络里的27层换成滑动窗口注意力,只留5层做全局注意力,比例是5:1。**
滑动窗口注意力
*每个词只看自己前后128个token范围内的内容,而不是整个历史,这样可以大幅减少每一步需要处理的信息量*
这个设计带来的效果很直接:在256K上下文长度下,KV缓存从32GB降到了5GB,缩减了6.4倍;同时推理速度比标准全注意力快了3.94倍。
打个比方,这就像你在图书馆查资料。全注意力机制相当于你每翻一页新书,都要把之前读过的所有书重新摊开看一遍,书越读越多,桌子就越摆越满,最后连翻页的地方都没有了。滑动窗口注意力则是你只保留最近读的几页在手边,其余的内容打包存进抽屉,只有少数几个"总目录页"是你随时能翻到的全局索引。如果不这么做,你想同时处理一本256K字的长篇小说,可能还没读到一半,桌子就塌了。
不过团队没有简单地全用滑动窗口,他们还给这套机制加了一层"门控"。具体来说,在滑动窗口注意力模块里,系统会额外算出一个0到1之间的信号,来决定这次局部关注的信息有多重要,重要的信息放大,不重要的信息压低。这个设计参考了此前Qwen团队的门控注意力思路,能让模型自己学会哪些局部信息值得重视。
值得一提的是,团队没有拍脑袋决定5:1这个比例,而是做了系统的对比实验,测试了1:1、3:1、5:1三种滑动窗口配比,还对比了全注意力、GQA、MLA等其他方案。结果显示5:1在吞吐量和损失之间达到了最好的平衡,3:1虽然损失更低一点点,但吞吐量打了折扣。
**分组查询注意力(GQA)**:一种减少计算量的注意力变体,让多个查询头共享同一组键值,原本32个查询头对应32组键值,现在32个查询头只对应8组键值,省显存又省计算。
FP8+Muon:让训练速度快4.2倍的组合拳
如果说注意力机制解决的是推理阶段的效率问题,那接下来这套组合拳解决的就是训练阶段的效率问题。学术团队最缺的从来不是想法,是算力。你想训练一个7B模型,如果按照标准配置一步步跑下来,可能几个月都出不了一个能用的检查点。
ZGCM-1这里祭出了三个技术叠加的效果:混合SWA架构贡献1.4倍加速,FP8精度系统贡献1.5倍,Muon优化器贡献1.8倍,再加上Pre-LN架构带来的1.1倍数据效率提升,四者相乘,总体训练时间到损失收敛的效率提升了大约4.2倍。
**FP8**:一种用8位浮点数表示数字的精度格式,相比传统32位或16位精度,能大幅压缩计算和存储开销,但代价是数值容易出现异常值导致训练不稳定。
**Muon优化器**:一种相对较新的神经网络优化算法,团队实测发现它比传统的AdamW优化器在同样步数下损失下降得更快。
这里有个特别值得展开讲的细节:FP8训练最大的敌人不是精度损失本身,而是激活值里偶尔冒出来的极端离群值。这些离群值一旦出现,整个训练就可能直接崩掉,数值发散。团队用了一个叫TWEO的技术专门去压制这些离群值,配合延迟缩放策略,才让FP8训练能稳定跑起来,最终维持了60%的BF16等效MFU(也就是硬件利用效率)。
这就像你想在结冰的路面上开快车。理论上抄近道能省时间,但路面一旦结冰,车轮打滑,轻则偏离轨道,重则直接翻车。FP8相当于这条结冰的近道,能省下大量计算成本,但如果不给轮胎装上防滑链(也就是TWEO这类离群值抑制机制),你根本不敢开快,更别说开到4倍速。
渐进式课程与MDP中训练:从16K到256K的三级跳
预训练之后,ZGCM-1还有一个专门的"中训练"阶段,这个阶段做的事情是逐步把上下文长度从16K拉到64K,再拉到256K,总共消耗了600B token。
这里有个设计思路值得琢磨:每个更长的阶段都不是抛弃之前的数据重新开始,而是保留短上下文数据的同时,叠加更长的文档。64K阶段里,180.89B token仍然是16K以内的内容,只有59.11B token是16K到64K之间的新增部分。这种"累积式"扩展,避免了模型在学会处理长文档后突然忘记怎么处理短文档。
比这更有意思的是MDP中训练这个概念。
**马尔可夫决策过程(MDP)**:一种把复杂的多步决策问题拆解成"当前状态决定下一步动作"的建模框架,广泛用在强化学习里。
具体来说,团队把智能体和环境交互的完整轨迹,重新切分成一个个"状态-动作"对。原本一条完整的任务轨迹可能包含几十步操作,模型需要理解整个上下文才能预测下一步该干什么;而MDP重构后,每一个决策点都被单独拎出来,当前的任务描述、历史交互、环境反馈组成"状态",模型只需要针对这个状态预测合适的下一步动作。
这就好比教一个新员工处理复杂项目。如果只给他看一份完整的项目复盘报告,让他从头到尾理解整个流程再总结经验,信息密度太低,他很难抓住每一步决策的关键逻辑;但如果把项目拆解成一个个具体节点,每个节点单独标注"在这个情况下,正确的做法是什么",员工反而能更快学会在关键时刻该怎么判断。如果不做这种拆解,模型学到的更多是模仿完整轨迹的表面模式,而不是真正理解每一步决策背后的逻辑。
后训练:数据质量比数量更重要的证据
预训练和中训练打好了地基,后训练阶段决定的是模型最终的行为模式。这里团队交出了一个挺反直觉的实验结果。
在监督微调(SFT)阶段,团队做了一个对照实验:一份是几乎没怎么筛选的原始数据池,大约208万条;一份是经过初步过滤的数据,183万条;还有一份是经过最严格质量筛选的数据,只剩114万条,比第一份少了将近45%。
结果最严格筛选出来的这份数据,虽然数量最少,但训练出来的模型在六个基准测试上的平均分反而最高,达到68.83分,比未筛选版本的67.78分还要高。尤其是在BBH这个推理基准上,提升了整整10.10分。
**这个实验说明,盲目堆数据量对模型能力的提升,可能远不如把数据质量筛严一点来得有效。**
**监督微调(SFT)**:在预训练模型基础上,用人工标注或高质量的问答样本,教会模型按照期望的格式和风格回答问题的训练阶段。
这个道理放在生活里其实很好理解。假设你要准备一场演讲,手里有两种资料:一种是把网上所有相关的文章都打印出来,厚厚一沓,不管质量好坏全部塞给你;另一种是精选出来的十篇高质量深度文章。前者信息量大,但你翻阅的时间成本高,还容易被劣质信息带偏;后者虽然少,但每一篇都值得细读,反而能帮你更快抓住核心逻辑。如果演讲准备时间有限,你会选哪种?
除了数据质量筛选,团队还发现一个有意思的现象:如果在训练数据里把"长链条思考"(也就是那种一步步推理很久才给出答案的样例)的比例调得过高,会拖累模型在指令遵循这类任务上的表现,导致回答变得啰嗦,不够精准。团队最后是通过反复调整长推理、直接问答、格式指令这三类数据的比例,才找到一个相对平衡的配比。
还有一个训练细节很值得记一笔:团队把"深度思考模式"和"直接回答模式"混合在同一批训练数据里训练,让同一套模型权重既能进行完整的链式推理,也能在用户要求快速响应时直接给答案。有意思的是,团队发现这种混合训练还带来了意外的正向迁移,模型在思考模式下学到的推理能力,会溢出到直接回答模式里,让直接回答的准确率也跟着提升。团队做了一个历史检查点对比,结果显示引入混合训练后,AIME 2025在无思考模式下的准确率从10%跳到了43.33%,提升了33个百分点。
智能体数据:通用能力打底,专项能力才立得住
ZGCM-1还专门针对智能体(agent)场景做了数据构建,包括深度研究、软件工程、终端交互三大类。这里团队又踩出了一个值得记住的结论。
他们对比了两种训练顺序:一种是先训通用能力数据,再单独训智能体数据;另一种是把通用数据和智能体数据从头到尾混在一起训。结果混合训练效果更好。
**如果只用智能体数据单独训练,模型的交互能力反而会退化,因为智能体能力本质上依赖的是更底层的通用推理和指令遵循能力。**
这个逻辑其实和培养一个专业领域人才很像。你想培养一个优秀的外科医生,不能只让他天天练手术刀,还得让他把解剖学、生理学这些基础学科打扎实。如果跳过基础直接练专项技能,遇到手术台上的突发情况,他可能连基本的判断逻辑都不具备。智能体训练也是同样的道理,工具调用、多步规划这些高级能力,都得建立在扎实的推理和语言理解能力之上。
在智能体数据构建过程中,团队还发现了另一个容易被忽视的坑:训练数据用的交互格式,必须和推理时实际使用的环境格式严格对齐,包括系统指令、消息角色、工具定义等等。一旦训练格式和推理格式对不上,哪怕模型能力本身没问题,下游表现也会明显下滑。
长上下文的意外发现:短样本也能激活长能力
这里有个特别值得展开的发现,团队管它叫"长程智能体中训练绕过超长SFT"。
按常理想,如果你想让模型在256K这么长的上下文里表现得游刃有余,是不是应该拿256K长度的训练样本去专门微调它?团队实际测试发现不是这样。
**只要中训练阶段已经把长上下文的基础打好了,后训练阶段其实只需要用中等长度的样本,就能可靠地把这种长上下文能力激活出来,不需要真的去构造昂贵的256K超长推理轨迹。**
这就好比你已经练熟了长跑的呼吸节奏和体能分配,真正要跑马拉松那天,你不需要提前专门跑几十次全程马拉松来"预热",只要日常训练里打好了耐力基础,正式比赛当天这套能力自然就能延展出来。如果每次训练都非要跑满全程,那训练成本会高到不现实,团队正是靠这个发现,省下了构造超长轨迹数据的巨大成本。
AI原生研发:用智能体管理智能体
除了模型本身,ZGCM-1这篇论文还花了大量篇幅讲一件很有意思的事:整个研发过程本身,是怎么被AI智能体深度参与的。
团队的做法是,每个研究员手底下会指挥数十个智能体,分工覆盖数据处理、架构设计、算法设计、实验监控、基础设施、模型评估、部署等全流程环节。
举个具体的例子。团队提到,曾经有智能体自主分析了存储集群的数据传输特征,并针对训练框架的I/O管线做出了有针对性的调整,最终带来了实打实的训练速度提升,而这整个过程完全没有人工介入。
不过团队也很坦诚地做了自我评估。他们请九位核心贡献者对十一类研发任务的AI自主程度打分,分成L1到L5五个等级,L5代表完全自主。结果显示,实验监控和部署工程这两类任务达到了L4(高度自主),但模型架构设计和学习算法设计这两类任务只停留在L2(部分自动化),而且没有一票打到L3以上。
**这说明AI在执行操作性任务上已经相当靠谱,但在需要创造性判断的设计类工作上,人类的直觉和经验依然是不可替代的锚点。**
这也符合直觉。让AI去执行一套明确的流程,比如按规则清洗数据、监控训练日志,它可以做得又快又稳;但要让AI从零决定一个模型架构该长什么样,这里涉及大量说不清道不明的经验判断和审美取舍,目前的AI还没到能独当一面的程度。
数据表现:小身材扛住大对手
说了这么多设计,最后落到实际效果上。
在7B级别模型的横向对比里,ZGCM-1在14项推理基准上的平均排名做到了第一,数学竞赛AIME 2026拿到75.0%,MATH-500拿到97.13%,HMMT 2025拿到70.42%,均领先同规模的Qwen3-8B、MiniCPM4.1-8B等模型。
在智能体搜索任务上,ZGCM-1的表现更让人意外。WebWalkerQA(一个考验网页浏览和信息追踪能力的基准)拿到63.09%,超过了参数量大它几十倍的Qwen3-235B-A22B(59.6%),仅次于Kimi-K2(63.0%)。
| 基准 | ZGCM-1-7B | Kimi-K2 | Qwen3-235B-A22B | Claude 4 Sonnet |
| WebWalkerQA | **63.09** | 63.00 | 59.60 | 61.70 |
| BrowseComp | 19.43 | **14.10** | 2.30 | 12.20 |
| GAIA文本版 | 42.52 | **57.30** | 45.60 | **68.30** |
而在Binary Function Search这个从头设计的新基准上,ZGCM-1达到62%的准确率,远超同规模的Qwen3-8B的12%,只比参数规模大得多的GLM-5.1(66%)低4个百分点,和Kimi-K2(62%)打了平手。
这项任务本身也值得说一说。它考的是让智能体在一个被剥离了符号信息的二进制程序里,靠一段自然语言的行为描述,反推出目标函数在内存里的具体地址。这需要智能体结合语义推理和逆向工程工具(比如Ghidra)去层层缩小候选范围,是个相当刁钻的测试场景。团队为此专门构建了一个包含超过1.1万条任务的数据池,覆盖数百个开源项目。
不过论文也很诚实地列出了ZGCM-1目前还打不过的场景。在SWE-bench Verified这个软件工程基准的50题子集里,模型只解出了2题,准确率4%;在Terminal-Bench 2.0这个真实终端操作任务集里,89题只解出2题,2.25%。这说明结构清晰、目标明确的任务(比如网页搜索、二进制分析)模型能扛住,但需要长程规划、开放式操作的软件工程和终端任务,还是块难啃的骨头。
写在后面
读完这篇论文,最让我意外的其实不是那些准确率数字,而是团队愿意把"哪些设计有用、哪些没那么有用"这件事讲得这么细。
比如那个"用词汇复杂度给数据排序"的实验。团队发现这套课程学习策略对代码和数学数据几乎没用,甚至可能起反作用,因为代码和数学的难度根本不体现在表面的词汇复杂度上。一段简单的两行NumPy代码,复杂度得分能排到语料库的末尾1%,而一段包含大量环境相关逻辑的复杂程序,复杂度得分反而排在最前面。这个反差挺有意思的,说明很多看起来聪明的启发式规则,一旦拿真实数据去验证,可能压根不成立。这也提醒我们,任何"听起来合理"的方法论,都得经过真实数据的检验才能相信。
另一个让我停下来想了想的地方,是那个AI自主程度的评估表格。团队没有把这件事包装成"AI已经能自主做研究了"这种宏大叙事,而是很诚实地承认,架构设计和算法设计这两类最需要创造力的工作,AI目前顶多算L2水平。这种坦诚在很多技术报告里是少见的,也让我更愿意相信这份报告里其他的数据。
至于这套开源到底能给学术界带来多大的实质推动,可能还得看接下来一两年里,有多少团队真的拿这套代码和数据去做二次开发,而不是只是看个热闹。一个基座模型的价值,终究要在别人用它做出新东西的那一刻才能真正显现出来。
Q&A
Q1：ZGCM-1是什么模型？
A：ZGCM-1是中关村团队开发的一个7.39B参数的全开源基座模型,专注于数学推理和智能体搜索任务,在多个基准测试上表现接近甚至超越参数量大几十倍的模型。
Q2：ZGCM-1为什么能用小参数量做到强性能？
A：核心思路是让模型学会深度思考和主动调用外部工具,而不是单纯依靠参数记忆知识,配合混合注意力架构、FP8训练加速、MDP中训练等一整套效率优化技术。
Q3：ZGCM-1在哪些任务上表现突出，哪些还有短板？
A：在数学竞赛、网页信息检索、二进制函数逆向分析等任务上表现出色,但在SWE-bench软件工程和Terminal-Bench终端操作这类需要长程规划的复杂任务上,准确率还比较低。
热门跟贴