文|王欣逸
编辑|张雨忻
“设计模型的工作,一定要人来做吗?”
今年年初,在斯坦福做博后、即将入职清华做博导的刘子鸣提出了这样的问题,随后,他便在自己身上进行了将近两个月的“人体实验”——训练自己大脑的直觉。
这段时间,他每天会随机拿一个数据集训练模型。在跑实验之前,刘子鸣会逼自己先对模型的训练曲线做出预测。“刚开始我完全没有办法预测出训练细节,大概做到第50天的时候,我发现自己顿悟了,这和考试前大量地去刷题很像。”他说。
这给了刘子鸣启发:既然人脑可以被训练出来,那么,也完全可以训练出一个不依赖于人的、拥有模型好坏直觉的“模型的模型”,即元模型(Meta Model)。
来清华任教后不久,刘子鸣创办了元环智能,想做这样一个元模型。他称这个方向为AI for AI——第一个AI指元模型,一个能设计所有模型的模型;第二个AI,则是元模型所设计的模型。
《智能涌现》获悉,近日,刘子鸣创办的元环智能已完成种子和种子+轮连续两轮融资,累计融资金额达数亿元。
其中,种子轮由顺为资本领投,上海未来产业基金、星连资本、君礼资本等机构跟投;种子+轮吸引了上海半导体产投、360战投、首程资本、上海人工智能产业系列基金等产业方及国资背景机构,以及BV百度风投、山行资本、云时资本等知名双币基金。
成立初期,元环智能便获得了多家市场化创投机构、产业资本及国资基金的共同支持,形成了多元化的股东阵容。
元环智能成立于2026年5月,创始人刘子鸣生于1998年,现为清华大学人工智能学院助理教授,曾在斯坦福大学Neuroscience+AI方向从事博士后研究工作,博士毕业于MIT,长期研究AI for physics/physics of AI/机制可解释性,本科毕业于北京大学物理系。团队成员大多来自清华、北大等高校,团队平均年龄约22岁。
在今年的资本市场上,AI for AI常和RSI(递归式自我改进)、Auto-research(自动科研)等词放进同一个筐里。在共识还没有发生的时候,对于向投资人解释他们正在做的事情,刘子鸣一直感到头疼,直到9月中旬,Jev模型横空出世——Jev是一个不生成任何文本的模型,它在接收一段状态信息和一组问题后,会直接输出带概率的类型化答案。
刘子鸣用Jev的模式来解释元模型:这是一个直觉模型,而非语言模型,无法根据用户提出的问题给出回答,但是它能学会设计模型——看到一个未知模型,能凭直觉了解它的能力如何;面对一个具体场景,它也能判断该用什么样的模型最合适。
元环智能和现有的RSI、AI for AI玩家的分野,发生在最底层——模态,即是不是基于大语言模型做自进化。
在刘子鸣看来,行业里用AI设计AI的做法百家争鸣,但都是走大语言模型路线,用自然语言以及思维链数据训一个通用模型,探索大语言模型智力的边界。他认为,这在文本、数学、Coding等领域是适用的,但是这些问题只占世界的30%。不仅如此,用大语言模型做RSI的天花板会比较低,短期可以通过刷榜看见成绩,但难以泛化。
“直觉更像是经验的反射,自然语言不适合做强直觉性的东西。”刘子鸣提到。既然直觉无法用已经压缩过的自然语言承载,元模型要做的,就是瞄准剩下70%尚未压缩过的世界,如AI for Science、世界模型乃至AI的“科学”本身,找到更合适的模型架构来支撑这些任务。
在深度学习圈里,相比清华博导与创业者的身份,刘子鸣更为业界熟知的是他的学术成果——新型神经网络架构KAN(Kolmogorov-Arnold Networks,柯尔莫哥洛夫-阿诺德网络),KAN发布于2024年,到今天为止,这一成果已在GitHub上收获16k stars,谷歌学术显示已被引用5700余次。KAN之后,很快也掀起了大量围绕KAN的后续研究,这让彼时在MIT念博四的刘子鸣收到了清华大学人工智能学院的教职offer。
KAN可以视作是一种对传统神经网络MLP(多层感知机)的“对抗”,其核心思想是用“可学习的激活函数”替代传统神经网络的固定激活函数,把模型从“黑盒”变成“白盒”。
“KAN不是一篇文章,也不是一个具体的模型,它是一种方法论和一种世界观,能够从混乱之中涌现出秩序。”刘子鸣提到,“现在回头来看,KAN就是一种特殊的元模型。它证明了模型设计可以像牛顿定律一样,能找出背后的原理, 被‘科研审美’与第一性原理收敛,元模型正是这一方法论下的更高阶的产物。 ”
如果说LLM擅长的是30%的已经被压缩过的符号世界或语言世界,元环智能所做的元模型则是解决剩下70%未被压缩过的数值世界,其核心就是KAN。从落地上来看,元模型中短期内可用于工业检测、金融量化、气象预测、电力预测、自动驾驶、世界模型等按时间连续记录的数据场景,设计专门的预测模型,并验证可行性及商业化落地。明年,他们还将推出通用的元模型1.0,不限定场景,去生成适配各个垂直领域的专用模型。
“我一直想做的是写出AI背后的牛顿方程,找到一些可解释性的东西。”刘子鸣说。不管是KAN还是元模型,他一直在探索处在黑盒里的大模型究竟该如何解释,它的科学性怎么体现,就像冲破大气层在宇宙中看地球一样,试图用更高维的方式来解决低维的问题。
不过,在创业这一新起点,他又展现出了务实的那一面,向能落地、更小的能力边界与商业化做出一定的倾斜,比如,先做出一个相对简单、有明确应用场景、不需要视觉和空间的时间序列模型,“只要它能被训练出来,能对时间序列场景设计出专有模型,它的价值就成立了”。
在元环智能拿到新融资的时间节点上,我们和刘子鸣聊了聊关于元模型、自进化等前沿探索,以及清华博导的教职、AI for AI创业等大家关心的内容。这场访谈发生在九月底,故事还算新鲜,不过刘子鸣告诉我们,元环智能的发展速度非常快,甚至一周之后就会有新的成果。
以下是《智能涌现》和刘子鸣的对话,略经摘编:
设计模型这件事应该交给谁去做
智能涌现:你们正在研究的元模型是一个什么样的模型?
刘子鸣:首先,元模型不是大语言模型,它是一种新的模态。
我们要构建的是一台“直觉机器”:它之前见过大量不同表现的模型,在其大脑里形成内化,此后见到新的模型架构,它能根据之前的经验,凭直觉判断这一模型表现会有多好。
这一“直觉机器”模型的输入是一个模型的架构(一张计算图),输出是一条或多条训练曲线,它是一个时间序列,是模型表现随着训练时间的变化。计算图(graph)和时间序列都是已有的模态,只不过训练一个直觉机器去做这样的映射,这是之前没有出现过的。
元环的AI4AI路线
智能涌现:这个设想实现到什么程度了?
刘子鸣:现在已经有几个demo了。
一个是大语言模型预训练的demo,核心在于,当模型更改不同的超参数(Hyperparameter,模型训练前的外部配置参数)时,它能不能把训练曲线预测准确。这一预测能帮助研究员在事前就知道怎样最优地调节模型的超参数。
还有一个是关于时间序列的元模型demo,在时间序列里,LSTM(长短期记忆网络)比Transformer架构更好,因此我们基于LSTM的baseline,构建了比LSTM表现好上百倍的架构。在世界模型这个方向,我们也用元模型找到了一个新架构,相比JEPA(联合嵌入预测架构),我们在一个任务上从67分提升到了98分。
所以元模型并不遥远,我们已经开始看到可行路径了。
智能涌现:这是什么时候实现的成果?
刘子鸣:最近两周,如果下周再跟我聊,那又不一样了。
我们也在做自己的benchmark,最近会发布,名为Architecture IQ,它就是评测大模型,或者人类研究员,对模型训练的直觉水平。比如,我要训练一个回归任务,以下三个模型,哪一个训到最后表现最好?这就是一个测试直觉的事情。我们测下来发现,在Architecture-only的题型中,GPT-6 Astra只有不到40分,但我们人有60左右。
智能涌现:所以在“直觉”这类任务上,大模型还不如人?
刘子鸣:如我所说,直觉不是自然语言,它是一种新的模态。你如果非要用自然语言,是做不好的。
我们在Architecture IQ这个数据集上做了测试,结果发现,让大模型思考更长时间,效果并不会变好,有的时候甚至会变差。像数学、coding这些任务,你可以通过让大模型思考更长时间来提分,因为这些场景本身就是已经被压缩过的、可以被言说的东西。而那些不可被言说的直觉,无法通过单纯提高训练时长来提高正确率。
智能涌现:从长期看,元模型什么时候会成为现实?
刘子鸣:从研究的视角来看,要把AI的科学(Science of AI)搞清楚,可能需要三年。但元模型比AI的科学更容易,因为我们不一定要完全理解元模型背后的原理,不用把AI的原理写成符号、外化成自然语言或者符号语言。元模型把三年时间缩短成了一年。
我们不一定要追求AI背后的形而上的原理,但我能先训练出一个模型,用于做预测。这里的“一年”指的是商业化的时间,我们刚起步三四个月,已经探索到了可行路径。
智能涌现:它率先交付的产品会是什么形式?
刘子鸣:最先交付的会是一个时间序列的元模型。从更长远的路线来看,我们希望能用元模型造出世界模型、AI4S的模型等等。
跳出Transformer,找到整片星空最亮的星
智能涌现:在大语言模型上做RSI,可能需要关于人类灵光一闪的思维链数据,那元模型需要的数据是什么样的?
刘子鸣:我们通过监督学习的方式,用大量模型和训练曲线配对来训练元模型,所以元模型是超越人类的想象力和创造力的。大语言模型背后的实验是在人类已有的认知空间里的,而元模型背后的数据是大家的未见模型。
拿Transformer架构来打比方,大语言模型不过是夜空中一颗较亮的星星,它却把我们的思维限制住了,只能围绕这颗星找其他。而我们要让元模型看见整片星空,帮助不同模型进化,在不同的场景下找到最亮的星。
智能涌现:怎么获取到这些数据?
刘子鸣:这些数据通过我们自己合成。
一方面,互联网上确实还不存在各种各样的模型,大家不会去生成一些“怪物模型”,绝大多数人使用模型还是别人用什么我用什么,这样最安全。另一方面,这些数据也是我们的壁垒,相比互联网上可能存在数据不准确、细节不够的模型,我们自己合成数据,反而更加安全可控。后期,我们也会针对性地多合成一些此前没有探索过的数据。不过第一步还是做熵增,跳出现有的模式,先看到各种各样丰富的架构。
智能涌现:需要多少量级的数据才能训练出一个元模型?
刘子鸣:我们现在做的时间序列的元模型和世界模型的元模型,几千条就够了。
智能涌现:关于Transformer架构你们怎么看?要造出那些“奇奇怪怪的模型”,现有的架构就能满足吗,还是需要重新创造新的架构?
刘子鸣:它的“积木块”基本上已经有了,这些“积木块”可以拼出各种各样的新“房子”。
大语言模型最神奇的地方不是来自模型,是来自语言,语言已经是人类经过百万年进化压缩、精简、提炼之后的架构。Transformer恰好乘上了时代的春风,成为第一个能把语言吃下去的模型。
对于世界上30%的任务,如文本的、数学的、coding的,这些是可以被言说的任务,大语言模型现在已经足够完成。但剩下70%是目前还没有办法言说,还没有被压缩过的东西,包括AI for Science、世界模型、AI研究本身等,这些任务需要找到更好架构的模型来完成。
用LLM做RSI,是爬山走野线
智能涌现:你提到Auto-research存在几种不同的范式,其中的区别是什么?
刘子鸣:大家走不同的路线,就是用不同的方式在回答这一问题:AI做研究或造模型,它能否被显化,即能不能用自然语言描述出来;以及能否被外化,即能不能从我的脑子里面外化到元模型里面,或者外化到你的脑子里面。
走大模型RSI路线的团队押注的是,AI科研是可以被外化,以及显化的,也就是它已经存在在自然语言里面。
而我们的押注是,AI科研目前还没有显化,相当于还处于类似于亚里士多德时代的原始物理学。现阶段,人类暂时还不能把关于AI的科学抽象出来,因此大语言模型暂时不会做科研、造模型。
而我们做的元模型则是赌:“AI的科学”无法显化、尚未外化,但它可以外化。
如果承认人脑是最好的世界模型,或者说碳基大脑是最好的模型;那么用元模型去造世界模型,就意味着要生出更多的硅基宝宝,让元模型这个“硅基世界的上帝”见过更多的硅基宝宝,知道如何去造硅基宝宝,让硅基宝宝的脑回路和碳基宝宝更像。
智能涌现:为什么你不喜欢自进化这个词?你之前也公开谈到RSI是一个悲观的未来。
刘子鸣:我觉得现在用LLM做自进化是零阶优化(zeroth-order optimization,也称黑盒优化),类似爬山走野线,只能靠体力一遍遍去试错;现在RSI就是这样,在执行之前没有好的直觉判断,所以不得不延长训练时长,花费大量算力去各个方向尝试,最后得到一个稀疏的反馈。
但因为我们有了“上帝”式的元模型,它是一阶优化(first-order optimization)甚至全局优化,这意味着在爬山的时候拥有了整张地图甚至GPS,我们知道走哪个方向最快,如同开了上帝视角。
具体来看,现在大家只见过 Transformer这一 个硅基宝宝,所以我们需要先熵增,让元模型这个“硅基世界的上帝”见过更多的硅基宝宝;然后再做熵减,总结更厉害的硅基宝宝到底牛在什么地方,并指引其他硅基宝宝也往这个方向去发展。
自动化研究三阶段
智能涌现:所以LLM做RSI行不通的主要矛盾是在LLM,而不是RSI?
刘子鸣:任何技术都是有边界的,我觉得每个领域都有它的发展阶段,从萌芽期、狂欢期到虚空。大模型现在处于从狂热到虚无的阶段,大家有些盲目高估LLM的边界,认为LLM可以解决一切,盲目把它往外扩。在初期这一拓展是有成果的,但再往后拓展就会达到虚空。很多用LLM做RSI的方法正在慢慢进入一种无法验证的阶段,无法解决真正的问题。
元模型现在在做的是,率先搭好一个新的领域和边界,等待LLM进入虚空,并不断拓宽自己的边界。当然,任何技术都有边界,我们的结局也会进入虚无,到那时,我们会再搭一个更新的领域和边界,如此循环。
智能涌现:现在什么概念都往RSI上套,这个现象是大家乐见其成吗?
刘子鸣:我觉得大家都知道这个领域很混乱,谁能最先跑出来,谁就有RSI的定义权。另外,元环在做的“元模型”其实没那么RSI,至少不是目前国内主流舆论环境下炒作的RSI路线之一。
KAN只是第一步
智能涌现:你是物理学背景,为什么最后会选择AI?
刘子鸣:很多学物理的人最后转AI都挺丝滑的,李飞飞、何恺明、姚顺宇等,他们都是物理学背景。如果AI只是个纯粹的工程问题,那就太无趣了,而且你如果只从工程角度去提升它,上限也很低。如果想让AI的上限更高,我们需要把它当成一个科学问题。物理学的学术训练,让我受益无穷。
智能涌现:你最出名的成果之一是KAN,它在2024年火了之后,它改变了你什么、给你带来了什么?
刘子鸣:一开始做KAN,我的导师Max Tegmark是不同意的,他发给我MIT的Tomaso Poggio教授在1989年的paper,认为Kolmogorov-Arnold表示定理对于机器学习是完全没有意义的。
但我比我导师更乐观,所以我就不顾阻拦,做出来了。我的导师是个绝对的视觉动物,当他看到那个非常漂亮的视频Demo里一些激活参数不断波动,最后还能收敛出结果,这把他打动了,于是我们一起合作继续做下去。
智能涌现:KAN发出来之后,一些争议也随之而来,比如不符合预期、被吹得有点过等,你当时怎么想?
刘子鸣:我始终清楚技术边界,所以对于技术边界之内的赞赏,我全盘接受,对于边界之内的合理质疑,也会吸纳进来。边界之外的噪声我们自动屏蔽。
KAN特别擅长做可解释性、高精度科学计算,比如时间序列预测、微分方程求解等。
这又回到了自然语言的话题。当时有人做了个实验,把Transformer里的MLP换成了KAN,起了个名字叫“Kansformer”,结果它的表现和Transformer基本一样。这是因为自然语言在这种已经压缩过的数据上,精巧的架构设计对模型的影响是比较小的。
不过,AI for Science、世界模型,包括元模型,它们的数据没有被预先压缩过,恰恰需要找到一个能捕捉住任务背后结构的架构,他们可以用类似KAN这样结构精妙的架构去解决。KAN只是第一步。
智能涌现:你在学界交出了很多科研成果,你又是什么时候想清楚可以创业的?
刘子鸣:我一直想做的是写出AI背后的“牛顿方程”,找到一些可解释性可收敛的东西,但从亚里士多德到牛顿,还需要2000年,我并不觉得这是我这辈子可以看到的事情,所以就是沉浸于漫长的科研工作。
但KAN发表后一下子爆了。我预想到它会是我到那个时候为止最厉害的一篇文章,但我没有预想到有这么大的影响力,部分原因是这项工作本身就非常好,另外一部分原因是行业苦Transformer久矣,对新架构有期待,所以KAN承载了很多行业的期待,这也是我毅然转身做元模型的原因。
一个是技术边界,元模型理论上可以去做所有的领域,不过我们需要平衡的是投入时间、数据等成本问题,短期来看我们会先做一个中等边界的盒子,比如时间序列的元模型。
另一个是商业边界,对于某些领域,已经存在专有的模型,他们比元模型设计出来的模型率先获得了大家的认可,那这些领域就在我们商业边界之外。我们认为30%的场景落在了这一边界之外,不过,剩下70%的场景,模型能力还没有固化,所以我们要去解决这个问题。
智能涌现:你是怎么确认这个创业方向是能走通的?
刘子鸣:今年年初,我开始把自己当成一个元模型在训练。具体的做法是,每天我会随机生成一个实验,随机拿个模型、随便拿个数据集,然后训练它,并让自己在跑实验之前,必须预测出它的训练曲线长什么样。
与此同时,我每天都会在个人网站上记录下当天的实验。最开始的时候,我在做实验之前完全没办法预测准确细节,比如,我知道它的loss会下降,但它会不会在某个阶段出现平台期?之后,又是否会出现一条可预测的scaling law?
在第50天,在做了50次这样的实验之后,我开始福至心灵具有了预测能力。这让我相信元模型的存在,因为我的脑子就是一个元模型,并且只用50个实验就泛化了。就算大模型效率比人脑低一点,在做500个乃至5000个实验后,它也能实现泛化。
智能涌现:怎么想到做这种自我训练的?
刘子鸣:我是一个非常喜欢做自我实验的人,通过自我认知以及外界反馈完成自我迭代,不断思考假如能把自己的脑子训练得更聪明,需要做什么样的数据输入和训练。
我在高中打物理竞赛一直用这种方法,把自己从一般聪明持续向最聪明靠近,并且奏效了。现在也是一样,我通过大量看原始数据,把自己的脑子当成模型去训练。这也是现在AI时代刚做科研的小朋友们没有的技能,他们很少有意识去看原始数据,很多时候恰恰是原始数据背后的内容,这是Agent也难以发现的。
智能涌现:国内的创投环境是不是对纯粹的Neo Lab不太友好?你们怎么规划自己的发展?
刘子鸣:元模型发展还在早期,需要坚定的科研投入,科研投入的确难以明确规划,也感谢早期机构给了我们非常耐心的支持。我们已经看到了元模型的曙光和可行路径,商业化落地周期不会很长。我也看到了海外有量化机构,基于KAN做量化投资,也是很神奇的。虽然元环现阶段不会直接去做量化,但至少说明并非在一片荒芜基础上盲人摸象。
我们也找到了非常solid的场景,发展道路也很务实,引入了商业化合伙人,坚持技术和商业双轮驱动。
智能涌现:元环的团队多大,平均年龄是什么水平?在人才这块你有什么偏好吗,我看到你们的岗位JD里写需要候选人熟悉“古法编程”和“古法科研”。
刘子鸣:要求“古法科研”听起来是个挺荒诞的事情,但在真正做起来的时候你会发现,没有经历过古法编程和科研训练的学生会被Agent带着走,变成Agent的搬运工,因此我们要求候选人得有系统思维。
元环的slogan就是:Scale Insight, not just Compute(厚其洞见,驭其算力)。我们现在团队是五个全职研究员和工程师,我们希望保持高人才密度,而非追求规模,目前还没有到需要Scale up(扩大)人就一定可以解决确定性问题的阶段,另外,相关支持团队正在快速搭建。
现在我们团队的主力还有很多的清华、北大、上交、复旦的本硕博实习生,我98年算是比较老的了,团队的年龄中位数大约是21、22岁。“小天才”们负责做熵增,做前沿探索,我就来负责做熵减,判断哪些想法能够短期内快速拿到结果、哪些ROI更高、哪些是值得长期探索真正的“大问题”。
图片来源|企业供图
欢迎交流
本文来自微信公众号“智能涌现”,作者:王欣逸,36氪经授权发布。
热门跟贴