一个只有90亿参数的小模型,竟然把1.6万亿参数的“巨无霸”老师比了下去?这事最近真就发生了。一个名字里同时挂着DeepSeek和千问的9B模型,冲上了Hugging Face趋势榜头名,开源圈瞬间炸开了锅。
俗话说,名师出高徒。这场“拜师学艺”的故事要从一个叫Jackrong的开发者说起。他请DeepSeek V4 Pro这位大块头老师,在Max Effect模式下日夜苦干,写出了25万条数学与理工科的解题样本。每条样本里,怎么审题、如何拆解、逐步推导、最终答案,全都记得清清楚楚,堪称一本“解题秘籍”。随后,他把这套秘籍灌给阿里开源的Qwen3.5-9B,先做监督微调,再用GSPO来一轮轻量强化学习,全程围绕数理化推理,编程数据一概没用。
徒弟出师后,成绩单相当亮眼。GSM8K测试跑了四次取平均,准确率94.5%,反超老师DeepSeek V4 Pro的92.6%,紧追Llama 3.3 70B Instruct的94.84%。MMLU-Pro分科测试更说明问题,数学从90.60%涨到92.40%,物理、化学各提高0.4和0.6个百分点。更妙的是开销:数学每答对一题,推理Token省了47.4%,物理省30.8%,化学省32.1%。又快又准,何乐而不为?还有个容易被忽略的细节——提示词要求思考完只输出一个大写字母,蒸馏版97.2%的回答乖乖照办,原版千问只有37.3%,差距一目了然。
不过,天才也有怪脾气。这个模型动不动就摆架子拒答,测试中100条提示,它一条不回,全都拒绝了。这时候第二位开发者xtools-at登场了。他借助Heretic v2.0.0.dev0工具,用ARA方法对比模型面对不同提示时的内部激活,精准定位与拒答相关的信号,然后对第9层到第24层的部分权重动了一场“微创手术”。手起刀落,同样的100条提示,拒答次数从100降到3,KL散度仅0.0422,几乎伤筋不动骨。正是这个版本,一举登顶趋势榜。
想亲手试试?门槛不高。想要完整体验,可以下载原始Safetensors权重;图省事的话,社区开发者Sakura721已经转好了Q4KM的4-bit GGUF量化版,LM Studio、Ollama、llama.cpp都能直接加载。想玩图文交互的朋友,别忘了同仓库里的mmproj文件,它负责把图片转成模型能消化的输入。
当然,天上不会掉馅饼。登顶版本的理科准确率、推理效率还没用同一套题复测过,蒸馏带来的本事保留了几成,仍是未知数。编程和工具调用虽有初步改善,甚至能做出一个叫Star Skip的小游戏,但模型卡只给了演示,没拿出正经基准成绩。至于“去拒答”这件事,仁者见仁,智者见智,技术中立,责任却在使用者肩上。
麻雀虽小,五脏俱全。这场社区接力告诉我们:大模型的知识可以被巧妙地“搬”进小模型,行为习惯也能通过精细手术加以改造。开源世界的创造力,从来不容小觑。
热门跟贴