编者按

有一个非常大的问题是,当代的左翼不太关心先进的生产力,太执着于想要改变生产关系了,以至于他们已经忘了在历史上左翼是代表先进生产力的。

历史唯物主义和其他哲学流派的根本区别在于,它从现实而不是什么虚构的假设出发,它绝不抛弃人们所面临的,活生生的社会条件,使用科学的方法(政治经济学)去刨析人们自身,并以此发现现实社会的运动规律。

在《资本论》发表一个多世纪后的今天,我们向读者献上这份对话。要捡起历史唯物主义的方法论,就必须学习目前最先进的生产方式(以硬件生产中的双循环为例)假使左翼运动无法捡起先进生产力的大旗并用力挥舞它,就无法引领历史走向进步一方。

值得注意的是,这份对话为我们呈现出一系列问题。编者认为,镜知同志提出了一些尖锐的问题,例如NVIDIA公司具有何种意义上的普遍性,使得其能够代表先进生产力;它究竟是主观上(看上去)成果丰硕,还是具有一整套严密的科研-生产体系支撑;以及左翼为何要推动开源社区。但无论如何,编者希望本文能够为诸位读者带来新思考:左翼运动如何挥舞先进生产力的旗帜?

对话集

左翼、开源社区与先进生产力

对话人:流云(左);镜知(右)

我们重新开始。有一个非常大的问题是,当代的左翼不太关心先进的生产力,太执着于想要改变生产关系了,以至于他们已经忘了在历史上左翼是代表先进生产力的。

他们其实还执着于去纠结于不太先进的生产力,像很多传统第二产业方面的一些东西。

对,但现状是,你需要明白现在生产力发展的问题在哪里,你才能理解我们要怎么改变生产关系。你需要先理解最先进的生产力,马克思是知道当年的生产怎么搞的,但是当代的左翼很少有人对这个问题进行研究,还在想马克思时代的生产是怎么搞的,以至于他们已经无法理解现代的先进的工业体系是怎么运行的了。我觉得这是一个非常大的问题。

左翼(一部分左翼)明明在假想一种集体性的、人类的总危机的到来,但是大量的左翼没有一个能够重建生产结构的能力。连重建的能力都没有,怎么改变生产关系呢?

其实你说的关于重建生产结构这个事情,看前几百年的历史,你会发现(左翼缺乏)相关的能力是比较正常的现象。就是所谓的“砸碎旧世界”和“重建新世界”之争。

也不叫之争,大部分左翼就是没有这个能力。但是左翼必须去思考现有的生产关系哪里有问题,理解这些行业的痛点在哪里,包括工人、从业者、受众和专家在想的问题。我等会可能会举一些例子。

我之前想写一篇文章,叫《当代左翼需要研究NVIDIA这家公司》。因为NVIDIA事实上拥有全球最先进的计算机硬件生产力。它有非常庞大的资金,养活一大批行业专家,还能把不同领域的人(比如通信和计算)集中在一起做整个系统,这很少有公司能做到,可能华为算另一家。它(NVIDIA)能以半年为周期迭代软件,以一到两年为周期迭代硬件,这个生产效率是非常恐怖的,全世界可能只有几家能做到(AMD算半吊子,英特尔软件也烂)。

而且,我之前认为学术界是单纯的实体(之前的研究方向是PL),但现在认为学术界(至少SYS/ARCH)和工业界的联系非常强,至少在计算机(越来越像工科/制造业)这块。工业界很大程度上推动了学术界的研究方向。比如NVIDIA出了一个软硬件系统,学术界就会针对它做研究,哪怕它不完善。例如,有国内实验室研究怎么用NVIDIA的稠密硬件通过软件运行稀疏矩阵计算。可以说,工业界一定程度上掌握了(学术)评审标准。

NVIDIA还跟科学界合作做长期的事。比如它零几年推出通用计算架构后,一几年学术界(Hinton等人)就开始尝试用GPU训练神经网络,发现很适合。但NVIDIA很快的就进一步放大了这个需求,在GPGPU里加了TensorCore(低精度矩阵乘加单元)。可以说,没有NVIDIA就没有(现在的)深度学习。

你刚刚说的这一点,只有NVIDIA如此,还是其他厂也有类似行为?

其他厂有,但不太成功。

如果其他厂有类似行为但不成功,那只能证明NVIDIA路子走对了,及格了,但这更多是能力差异,不是路线差异。

我再举个例子。大概2020年左右,有几家做深度学习加速器的创业公司,比如国外的Groq(不是马斯克的Grok)、Tenstorrent(Jim Keller在的那家)等。以Groq为例,它犯了非常低级的错误,体系结构初学者都能看出来。他们延续Google TPU思路但更极端,为了高带宽不用内存(DRAM),全用片上缓存(SRAM)。但SRAM成本极高(单位比特晶体管多),导致总成本可能比用昂贵HBM的NVIDIA还高。Groq宣称推理延迟低,但不敢报吞吐量,而目前大模型应用场景都需要吞吐量。

其次,Groq用全静态的软件调度流水线(超长指令字VLIW),理论上运算器密度可以比NVIDIA高(硬件调度逻辑省了)。但一旦接入内存或网络,必然产生不规则抖动,静态调度无法消除。而NVIDIA看似浪费晶体管在调度硬件上(计算掩盖访存/通信延迟),却是为了保证运算单元能被充分利用。

我听下来,就是这两家公司选择了不同的技术路线,NVIDIA的路线被证明很牛逼,走对了。

很难想象这么大投资的公司(流片一次几亿,迭代可能花十亿,还不算人力),设计上却犯了非常低级的错误。

这和NVIDIA与其他公司的区别关系在哪?

NVIDIA没犯这种低级错误。

其他竞争者都犯过类似的低级错误吗?

这是一类NVIDIA竞争者的情况。还有像Tenstorrent等其他类型。

我目前只能提取一点:NVIDIA犯的错误最少,而且几乎每次都走对了,技术非常先进。

我猜测有两种可能:一是它的主管人或团队非常厉害,或者能把所有人都集中起来研发;二是NVIDIA内部把所有可能的路线都试过了,只是没公开失败经验(犯错的经验更珍贵)。

那你觉得是其他竞争者管理水平不佳,或者没有NVIDIA好?

不是好不好的问题,可能需要一个充分讨论的机制和纠错机制。

所以你认为NVIDIA内部可能有一个类似实验室的功能,把所有路线都试完了,才拿出正确路线,所以每次都能走对?

我不是NVIDIA员工,只能猜测。要么有厉害的人,要么有厉害的管理体系,要么试过了所有东西,要么兼而有之。

厉害的人也会犯错,例如JimKeller(硅仙人),他的AI软件栈似乎就有一些问题。

如果你想写相关文章,如何去证明这些猜测呢?没有前提,后面文章写不了。

也许我该找些资料,不然只能尬吹NVIDIA多牛逼。我需要找证据,可能问问在NVIDIA工作过的朋友。

我还想说一个不那么显然的知识:不只是软件依赖硬件,硬件也依赖软件,是互相依赖。从供应链角度看,软件追溯上去是库、编译器、指令集、硬件厂商。但硬件厂商的研发,也需要先拿到实际的Workload(工作负载)去测试性能、功耗等。

可以说这个供应链是一种环状结构?

对。硬件越厉害,软件越厉害;软件越厉害,硬件越厉害。这是一个滚雪球的结构。NVIDIA滚得很大,苹果也是,英特尔上世纪也是。英特尔最早一批搞出个人消费电脑(虽然最初性能很烂,像大玩具),但以低廉价格卖给消费者,就有了开发者和用户,卖了之后又有钱投入研发。

这里实际有两个循环,像一个无穷符号(∞):

1.左循环(产业资本循环): 厂商 -> 实验室/研发 -> 工厂/制造 -> 厂商

2.右循环(生态系统循环): 厂商/产品 -> 开发者 -> 用户 -> 反馈 (Feedback) -> 厂商/产品

这两个循环互相驱动。现在崛起的巨大科技企业(NVIDIA, Intel, Apple, 高通, 联发科, 华为麒麟等)几乎都是这么崛起的。这也导致新指令集很难成功,因为它缺少右边的开发者-用户反馈循环(因为没有所以没有)

但这个循环可以靠强大的产业资本强行启动。比如你有很多钱,招很懂的人,烧钱迭代硬件(硬件迭代比软件成本高得多,需要流片测试)。做出强力芯片后,吸引开发者(或企业自己做上游开发者,完善工具链)。工具链好了,就能吸引尝鲜用户(比如成本敏感的用户,或特定需求的用户)。

苹果从x86切到ARM就是例子。它控制着编译器(Clang/LLVM)和整个软件栈,M芯片出来时续航优势明显,常用软件(Office, 浏览器等)也移植好了,吸引了商务用户。苹果一夜之间迁移大量自家软件到ARM,获得了大量真实世界的workload来优化硬件。它就是用强大的产业资本推动了右侧循环。

所以是不是意味着,有一个很厉害、能掌握上下游的产业资本,推动这个事情,就有大概率能做成?

对。但现在世界上缺少同时掌握软硬件系统、有架构师和劳动力、协作又好的公司。NVIDIA算一个,苹果算一个,然后就不多了。微软只掌握软件,英特尔只掌握硬件,AMD软件也烂(所以MI300理论性能高但订单少)。某种意义上,软件栈的重要性甚至高于硬件。

能做好这个事情的人(或公司)不多,这是我们得出的结论。这又能说明什么呢?

我觉得左翼需要研究这个问题。

我听你说完发觉,这个问题可能不是左翼的人也在研究。

但考虑到我们最开始说的,左翼必须掌握最先进的生产力,那么左翼就必须研究透这个(双循环)结构。

这个产业界的结构,左边是所谓的产研一体(研发-实验-工厂),右边是抓用户反馈、抓社区。说到社区,开源社区(比如Linux)某种意义上是英特尔(当年开放手册、提供廉价硬件平台)一手养起来的。先有英特尔的开放姿态和微机平台,后有Linus基于此写出Linux对抗昂贵/垃圾的旧系统。英特尔用这些“小孩子玩意儿”打败了传统大型机厂商。

某种意义上,英特尔把一部分(软件生态)工作放给了开源社区。现在的AMD、摩尔线程等也在用类似思路(开放手册、拥抱开源驱动)。开源社区生长在开放的厂商和环境之上,是一个依附性质的关系。

21世纪的厂商学聪明了,像苹果虽然封闭,但也利用开放的LLVM编译器吸取社区反馈和贡献。AMD、摩尔线程也是如此。

开源社区完成了厂商(或时代/绝对精神)赋予它的历史使命,linux或许是上一个世代的绝对精神的代言人。

举个特例:香山(RISC-V CPU核),包括伯克利的BOOM。它们用学术界的人做研发(成本低,研究生工资比产业工人低),烧产业资本流片验证,用SPEC等理论测试集做feedback(虽然不如真实workload反馈准确及时)。这种模式用相对低的资本完成了产业资本循环。香山核公开后,基于它修改的芯片性能就有保底,避免了社会重复研发的成本,这无疑是一种生产力进步和解放,即使他们不一定是革命者。

回到开源社区。它的成功在于对软件业起到了强大的补充作用(大部分人提供反馈,少数精英贡献代码)。它的失败在于困在软件业,出不去硬件。它们没有懂软件以外的人协作,也没有足够的产业资本去设计和迭代硬件。

这又回到了刚刚说的那个老问题:需要产业资本。

对。我认为开源的生产方式是一个种子,但还没发芽。

是否因为没有这个很厉害的产业资本,种子就发不了芽?

硬件社区也有例子,国内靠嘉立创的免费打样和公开设计平台,利用闲置产能造了一个社区出来。社区依附在实体制造业/硬件厂商上。嘉立创用闲置生产力造出了零成本的实验反馈环境。比较英特尔和嘉立创,发现只要有足够用户和开发者,把产业资本转起来,就能搞出迭代循环。

所以开源社区的繁荣,说到底还是需要产业资本。

是的。

所以左翼需要产业资本投入进这个循环,把它造出来。

对。

我感觉你说了这么多,都是在围绕那个老问题(左翼与生产力、资本的关系)做详细回答。

是老问题。

那么问题来了,这个厉害的产业资本该如何获得呢?

答案是我不知道。我只能回答:如果左翼获得了产业资本,他们必须把这个(开放的、迭代的)循环建起来。

这里面有个悖论:当左翼真的获得了产业资本时,意味着他之前很有可能已经具备了建立这个体系的能力。时间和因果的先后不确定。

对,可能也是一个环。

可以确定的是,当左翼获得资本时,差不多也该获得建立体系的能力。

但左翼获得资本后,也可能按照老路走,走封闭的路。

所以你想强调的是一个方向?

对,我想强调一个方向。

你感觉左翼很有可能会螺旋(停滞),不会上升?

对,它可能并不会上升。

你主要想提醒需要上升。

对。我们应该把开源社区的模式往制造业推。不仅要公开软件设计图,还要创造一个可以共享、公开迭代的硬件世界。我们需要能造出自己的“打印机”(生产工具),还要能造出批量制造“打印机”的“制造机”,以及制造“制造机”的“制造机”,并把所有图纸、制造方法(从手工到工业化)、教育材料全部公开出来,让人能从零开始build出整套系统。而不是让知识被封锁在公司里,以商业机密或经验的方式存在。

因为现有模式依赖信息差赚钱,遵循资本主义逻辑,不利于所有人发展生产力。

但你现在说的,是很靠后的愿景了。

是很靠后的愿景。我们是随便谈。我觉得这是未来左翼需要完成的生产力发展方向。右翼可能只会利用这个社区来完成他的目的(比如苹果免费使用开源软件,但curl等关键开源基础设施的作者穷困潦倒)

你上次已经说了,严格来说苹果、NVIDIA这些都是右翼公司。不是利用,这些东西本身就是他们的。

对。所以左翼需要把这个(开放、共享的生产体系)推向全社会、全世界。这可能是过程,也可能是结果,或者两者都是,我现在不知道。

你没办法预料这个事情。

是的。

那你文章打算怎么写呢?

可能需要讲开源社区应该推向硬件/制造业,背后需要公共性质的产业资本。

我觉得你还应该写最初的那个命题:左翼需要掌握先进生产力。你需要把NVIDIA的那几点独特性给证明了,后面才好写。

你说得对。我说到最后有点偏题了。

你得把这个独特性和(你认为的)先进性结合起来。

但很遗憾,我现在还不能证明。我可能需要找材料。

我感觉你今天聊完,反而把自己聊迷糊了?没有上次那么坚定了?

对,聊迷糊了。上次是很确定想那么说。

我在想,我能从上个世纪的教育科研体系(比如前三十年)找灵感吗?我觉得有点困难。

我现在不能证明NVIDIA有多厉害,它的成功关键是什么。我只能反面证明它的对手们有多草台。

但你证明对手草台,与你第一个命题(左翼要钻研先进生产力)有点背道而驰。

是的。

我还在想,NVIDIA的研发体系到底怎么样?我需要去了解。我怀疑它非常先进,左翼可能需要学这个。这是最好的情况。但它有哪些值得学的东西?有多少?我现在只能打个问号。这只是粗浅想法,可能后面会成形。

你怕的是,它(NVIDIA的成功)并没有那么多主观的英明判断,纯粹是市场经济养蛊养出来的“蛊王”?

是有这个可能。我需要搞清楚,NVIDIA究竟是主观上这么厉害,还是仅仅是遵循市场经济逻辑的“赌”赢了。

注解:

这篇文章是作者ly(流云)和他人的谈话记录,该谈话记录同时面向一部分业内人士和行业外人士,如果存在错误,欢迎读者指出。

录音经过whisper转文字并经过大语言模型缩减总结。最终结果经过人工审核,能够确保内容符合原意。

文章内括号的部分由大语言模型插入插叙或补充上下文。

后续:

作者经过与业内人士(包括nvidia员工和其它GPGPU设计公司员工)交流后得出初步结论:NVIDIA内部并不存在一套很厉害的次时代的软件栈,而是在使用本世代甚至上世代的软件栈,这一点令作者失望。但这反而说明了NVIDIA在软件水平上(至少在使用软件劳动力的水平上)很厉害,因为即使这样,NVIDIA的软件水平还是硬件行业内顶尖的。

NVIDIA的商业决策非常厉害(或者说是垄断巨头应该有的水平),它非常清楚只依靠大模型泡沫是很容易出事的,所以在商业决策上它退可守传统HPC(高性能计算)的市场,例如它往新硬件中添加了FP64(科学计算所需)的Mattrix Multiple硬件。甚至游戏玩家市场(RTX50系大幅度优化了DLSS)。进可追世界模型、物理学大模型和智能机器人、智能汽车。

尽管它在一部分领域的探索并不成功:例如神经网络物理仿真的精度并不比传统方法令人满意,以及让ai学习多模态数据来总结物理定律的物理学大模型路线遭遇了挫折。但它依然将能发展的领域推到了极限,这一点做到了行业垄断巨头“应有的水平”。

稿件来源于lyzh、镜知同志

编者按由NLR编辑部呈现

转载、投稿请联系邮箱newleftreviewaccept@gmail.com

哲学家只是用不同的方式解释世界

而真正重要的是改变它