2006年，在清华园里，一名刚拿到博士学位的年轻人，反复握着导师交到手中的两万元科研奖金。他没有用这笔钱添置设备，也没有拿去支付论文发表的相关费用，而是把钱全部投进了一个当时很多人都听不明白的研究方向——尝试通过算法，把全球数千万篇学术论文之间错综复杂的关系连接起来。这个年轻人就是来自四川南充的唐杰，他没有海外留学经历，而这两万元，也几乎是当时他能够拿出来的全部启动资金。
后来，当ChatGLM迅速走红时，不少人下意识觉得，这大概又是某个海归团队依靠巨额资本投入打造出来的项目。但如果把时间往前拨十几年，就会看到完全不同的画面。那时，唐杰带着几名学生长期守在实验室，电脑处理不了庞大的数据，他们就自己写程序、改脚本提高效率；没有足够的钱租服务器，就趁其他人不用机器的时候想办法利用空闲算力。彼时资本热衷的是电商和游戏，很少有人愿意关注“学术知识挖掘”这样既冷门又难懂的方向。AMiner从最初的项目雏形，发展到后来被全球大量科研人员使用，前前后后足足经历了十三年的打磨。
在这漫长的十三年中，唐杰和团队所做的事情，听上去甚至有些单调。他们让机器阅读论文，分析论文之间的引用关系，识别谁借鉴了谁的方法、谁又在前人的基础上进行了改进，同时寻找不同研究领域知识图谱中存在的缺口。千万量级论文构成的庞大关联网络，不可能依赖人工逐项标记，只能通过一套套算法不断测试、调整和验证。有时仅仅为了让语义识别准确率再提升一个百分点，整个团队就可能连续推翻好几版模型重新再来。这样的研究没有热搜关注，没有盛大的发布会，甚至很难包装出一份足够吸引资本的商业计划书。
然而，恰恰是这十三年持续不断的数据积累和技术打磨，让唐杰比国内很多研究人员更早意识到一个问题：面对超大规模数据之间复杂而深层的联系，单纯增加参数并不能解决所有问题，真正关键的地方，仍然在底层架构。当大模型赛道突然成为风口，很多团队争相复现GPT技术路线，或者直接利用开源权重进行微调时，唐杰却决定走一条难度更高、风险也更大的道路。
他没有完全依赖海外已经成熟的现成体系，而是带领团队持续探索GLM架构。训练千亿参数级别的大模型，仅仅让几十张计算卡能够稳定协同工作、不频繁出现故障，就已经是一道相当难迈过去的技术关卡。团队内部为路线选择产生过不少争论。有人认为，采用别人已经验证成熟的架构，不仅风险更低，而且成果出来得更快，也更容易让投资者理解。但唐杰没有花太多时间说漂亮话，而是继续带着学生守在机房里解决问题。训练中断就重新启动，日志出现异常就逐行排查，参数无法正常收敛就重新调整学习率。这样的状态不是持续几天或者几周，而是延续了几个月，甚至更长时间。
2023年ChatGLM开源后，迅速在国内人工智能领域引起了广泛关注。它所代表的意义，不只是又多出了一个可以使用的对话模型，更重要的是，中国团队在大模型底层技术路线上的自主探索开始受到更多人的注意。不少企业很快下载模型进行部署测试，高校研究团队则基于它展开二次开发，各类面向国内场景的应用也随之不断出现。也是在那个阶段，越来越多人意识到，即使不完全照搬海外已经形成的技术体系，国内团队同样有机会打造真正能够落地使用的大模型。
但外界的热度，并没有让现实中的压力随之消失。算力芯片存在缺口，高质量中文数据集也不可能在短时间内完成积累。与此同时，外界还不断出现质疑，有人认为ChatGLM只是另一种形式的模仿，甚至认为国内团队难以实现真正意义上的底层创新。面对这些声音，唐杰并没有把大量精力用于公开争辩。因为摆在团队面前的工作远比争论更多，从早期GLM系列模型一路迭代到GLM-4、GLM-5，每一次模型升级，都绕不开数据清理、训练方案以及对齐方法等一个又一个技术难题。
如果用一个形象的比喻来描述唐杰选择的道路，就像别人都在高速公路上前进，他却选择进入山中自己开凿隧道。高速上的车辆很多，速度也确实更快，但前提是必须沿着别人已经铺设好的道路前行，也要接受既定的路线规则。从AMiner时期开始，唐杰似乎就不愿相信技术发展只有一条固定道路。早年的两万元启动资金证明了，即便长期坐冷板凳，也可能一点点做出真正有价值的成果；后来GLM的发展则进一步说明，不一味追逐热门路线，同样有机会留在竞争的牌桌上。
如今谈起大模型，人们经常讨论的是算力有多大、参数有多少，却很少有人认真思考另一个问题：真正限制技术突破的，有时并不只是缺少某一款高性能芯片，而是有没有勇气在长期无人关注的领域持续投入。身处清华大学计算机系，唐杰原本完全可以选择更加稳妥、更容易获得成果的学术路线，多发表一些高水平论文，再承担一些项目，同样能够获得不错的发展。但他却长期选择知识工程领域那些最难、最重的工作，带领团队不断向底层技术问题深入。
从某种程度上说，他的经历也很容易让普通背景的科研工作者产生共鸣。没有显赫的家庭资源，也没有现成的人脉为前路铺好台阶，更没有依赖海外求学经历作为光环。最初能够依靠的，不过是一张国内高校的博士文凭，以及两万元科研奖金。换成其他人，或许早已接受企业高薪邀请，也可能转身投入更加热门、更容易看到回报的研究方向。但唐杰选择留下。整整十三年，他守着学术知识挖掘这条道路，一点一点把平台做起来，也等待着属于这个方向的机会真正到来。
等到风口真正出现以后，他同样没有停下来享受已有成果。ChatGLM开源后，团队没有依靠已有成绩原地踏步，而是继续推动模型一代接着一代迭代。每一次版本更新背后，仍然离不开那些看起来重复甚至枯燥的工作：调参数、清理数据、训练模型、反复评估。大模型技术不存在真正意义上的一劳永逸。今天也许还能领先一个月，到了明天，竞争对手就可能已经向前跨出一步。唐杰很清楚，决定一个团队能否长期生存下去的，从来不只是某一次发布时得到多少掌声，而是在外界不再关注以后，是否仍然愿意继续向更深处探索。
许多人看到的是ChatGLM出现之后带来的突破，却未必了解GLM-130B训练过程中经历的那些困难。面对有限的算力资源，团队需要不断调整训练任务，把任务拆开，再重新组合，然后继续尝试；为了获得质量更高的训练数据，他们还必须投入大量时间过滤低质量内容，进行数据去重并清理有害信息。大模型最终呈现出来的可能只是一个可以直接使用的产品，但在它背后，每一道流程都是一场硬仗，每一个环节都需要研究人员一点一点扛下来。
从四川南充一路走到清华计算机领域的重要科研岗位，这条道路并不存在真正的捷径。唐杰经历中最值得关注的，或许不仅是最终做出了什么成果，更在于面对那些看起来更加轻松的近路时，他始终坚持走自己选择的方向。从两万元科研奖金开始的这段科研历程，如今回过头看，更像是一场持续多年的耐力考验。正因为他和团队在漫长的积累期坚持了下来，才有了后来AMiner的成长，也有了GLM以及ChatGLM被更多人看到的机会。
热门跟贴