出品丨奇点折射(ID:rgznai100)

2026 年的 AI 基础设施竞赛,在一个月内接连被两条剧烈交汇的信号推向了深水区。

先是全球算力商业度量衡的彻底改写。

过去几年里,一套全新的工业叙事深入人心:数据中心正转变为“输入能源、输出 Token”的制造工厂,一座工厂的收入直接等于每瓦电力产出的 Token 数量乘以可用电力;甚至 Token 的市场定价也直接挂钩生成速度与上下文长度,越过了单纯看参数规模的阶段。

紧接着,地缘供给线在 11 月 16 日突然拉响警报。美国商务部工业与安全局正式落地针对远程访问先进半导体的新政,将出口管制从过去的“芯片实物”进一步延伸至海外数据中心的“远程算力访问”,划出了一千二百万总处理性能的严苛红线,并对新加坡、马来西亚、泰国、印度尼西亚与巴西五国新增出口许可要求,彻底收紧国内企业过去依赖海外云算力的“外训内推”通道。与此同时,新规还加强了对第三国先进制程晶圆代工与封测环节的尽职调查审查。

海外远程算力走廊收窄,倒逼海量训练与推理需求全面回流本土机房;而芯片制造与封测端的外部严审,又决定了国芯供给不能单纯依赖无节制的扩产流片来填补。

正如微软 CEO 纳德拉曾感叹海外基建手里攒着芯片却找不到足够通了电的机房,在国内,各地智算中心与政企机房恰恰是电早就通了、机柜里也已部署了大批国产算力卡。真正决定 Token 工厂产线回报的,在于软件栈能否把芯片的每一分性能彻底激活,把国芯算力压榨成高吞吐、低延迟的商业产能。

打开网易新闻 查看精彩图片

从硬件边界到工程死结,一线 Token 工厂为什么呼唤公共底座

“建一座能赚钱、扛得住大流量的 Token 工厂,绝不是买来算力卡插上电就万事大吉。” 清昴智能创始人兼 CEO 关超宇长期在一线交付 Token 工厂,他在复盘交付现场时这样谈到。

在他看来,早年铺下去的 A100、H20 及更早期国产卡并非面向混合专家架构与百万上下文设计,硬件上限本就有限。但更普遍的死结藏在软件栈里。Agent 长上下文场景下,Prefill 阶段极度吃算力,Decode 阶段则卡在键值缓存的显存带宽墙上,混跑就会陷入“算力等数据、带宽被挤爆”的双向拖死。即便换成新一代高算力芯片,软件协同不到位,同样跑不出具备商业竞争力的吞吐效率。

更让商业团队窒息的,是模型按周迭代撞上二十余家芯片的巨大剪刀差。各家微架构与底层指令集互不兼容,清昴工程师为了攻克极限算子,甚至不得不钻进驱动层、绕过编译器手写汇编。可每出一个新模型、每换一款国产卡都要抽调精锐从零重写几百个底层算子,团队很快就会沦为低毛利的人力外包队。

任何商业公司的资源边界都是有限的,编译器往下的硬件适配与通用算子底座包办不了,也不该去硬扛,一线 Token 工厂急需一个中立开放的公共开源底座来兜底。

由北京智源人工智能研究院牵头开源四年的统一系统软件栈 FlagOS,成为填平这一生态断层的核心抓手,也是清昴等商业团队破局的底层选择。

从清昴这类一线 Token 工厂的视角来看,迭代至 2.2 版本的 FlagOS 恰恰接住了最繁重、最易重复消耗人力的底层工作。这套开源底座基于 Triton 沉淀了超过一千四百五十个通用算子,统一编译器 FlagTree 在单一代码仓库下覆盖了二十家芯片厂商的后端,把主流推理与训练框架直接对接到了多元算力上,给 Token 工厂省去了大量底层重复开发工作。

在追赶业务窗口期的一线赛跑中,FlagOS 社区带来的“当天适配”能力更具商业杀伤力。过去半年里,无论是 DeepSeek V4、Qwen3.8 还是智谱 GLM-5.3 系列,每当主流新模型发布,FlagOS 社区最快一天就能完成多达十二款不同芯片的跑通。对清昴团队而言,这意味着不必再耗费数周人力死磕底层适配,能够以最快速度把最新模型接入商业产线,稳稳跟上 Agent 业务爆发带来的迭代节奏。

打开网易新闻 查看精彩图片

把“稀疏空间”压密,开源软件栈如何抬高产线算法上限

一线商业团队将 FlagOS 接入业务流水线,带来的改变不仅是省下工期,更直接改写了商业公司核心优化算法的工程上限。

清昴从清华大学实验室时期起家,一直坚持的技术路线是“用 AI 优化 AI”,也就是通过自动机器学习替工程师去搜索最优的算子融合、图切分与分布式并行策略。随着行业迈向用 AI 自我迭代进化来持续打磨基础设施的下一代范式,这种自动化寻优的能力正在成为决定 Token 工厂产线效率的关键。

但让 AI 自己去优化硬件,在工程上其实存在一堵极易撞毁的隐形墙。

关超宇在交流中点破了这个核心难点:要让 AI 学会优化 AI,前提是算法必须先看懂基础设施长什么样,知道底层有哪些硬件细节和边界条件需要注意。 如果直接把极度底层、千差万别的裸硬件指令空间暴露给自动调优算法,虽然表面上看灵活性最大,但这个搜索空间会变得极其“稀疏”,算法在茫茫参数海里稍微走偏一点,就会直接触发硬件报错或性能崩塌的死胡同,失败率极高,很难搜出稳健的可用方案。

而 FlagOS 提供的标准化编译器、三层渐进式抽象以及经过严格验证的 Triton 统一算子生态,相当于在混乱的裸硬件之上铺平了一层高确定性的中间层。接入 FlagOS 工具链,配合其内置自动调优器将搜索提效二百九十八倍的能力,原本稀疏脆弱的搜索空间一下子变得“密集”起来,自动调优算法能找到的有效可行解大幅增加,整条产线的探优效率随之呈量级跃升。

即便面向未来完全由 AI 自主生成算子的演进趋势,这套公共底座也不会被边缘化,其作为工程支点的价值愈发凸显。正如关超宇所判断的,任何自我进化的优化系统想要走得稳、走得快,都必须建立在极其完善的观测体系、衡量基准和基础工具链之上,没有哪一套单一系统能够从零包办所有的底层环节。未来的 FlagOS 编译器与算子库本身,也会持续吸纳这种自动迭代的思路向前滚动。

更让一线商业团队感到踏实的是 FlagOS 在开源形态上的克制。

过去不少基础软件开源项目容易陷入“大而全”的执念,试图把所有逻辑塞进一个像传统推理引擎那样封闭完整的单体黑盒里,商业团队拿回来之后要么被整套框架牢牢绑架、丧失面向客户定制的灵活性,要么一旦遇到线上真实流量波动就根本改不动。FlagOS 固然提供了一套完整可用的参考系统,但它把 FlagTree 编译器、FlagGems 融合算子库、FlagCX 通信库以及各类引擎插件拆成了高度解耦的标准化“乐高积木”。商业团队可以根据真实产线的苛刻需求,只挑出自己使用频率最高、最趁手的模块拼进自己的系统里,即插即用。底层跨芯片适配的苦活累活被公共底座接走之后,商业公司的研发节奏随之彻底改写,工程师终于可以把火力集中在高阶的内存编排、异构调度与产线利润优化上。

打开网易新闻 查看精彩图片

商业交付遭遇性能卡点,联合调优下的国芯破局

再漂亮的理论架构,最终都要接受真实企业机房的残酷检验。

清昴等团队将国芯 Token 工厂推向一线交付时,迎面撞上的正是一场足以决定项目生死的“性能危机”。

一方面,行业客户点名要求在新一代旗舰集群华为昇腾 910C 上线智谱最新的 GLM-5.3-Flash 模型,可原生链路跑下来的速度只有每秒二十多个 Token,这种像挤牙膏一样的输出速度根本无法支撑企业级在线交互,属于典型的“有卡但不可用”,连客户的验收门槛都过不去。

另一方面,国内机房里沉淀着大量早已通电上架的存量 910B 服务器,但在面对百万级上下文的 Agent 高频多轮对话时,传统部署的首字延迟动辄高达十几秒,集群吞吐惨淡,算力资产几乎处于半空转状态。

面对这些真实卡住商业闭环的痛点,硬件底座本身已经具备了突围的物理基础——无论昇腾 910C 内部的 Cube 矩阵单元与 Vector 向量单元协同潜力,还是存量 910B 庞大的集群规模,都足够支撑高强度推理,缺的只是打通开源模型生态与极限硬件调度的临门一脚。

工厂侧团队迅速联合开源社区,基于 FlagOS 底座展开了一场“底层基建 + 业务深改”的联合调优攻坚,避免了闭门重写底层栈的高昂代价。

在这个协同战役里,分工极其清晰。FlagOS 底座负责打通最硬核的基础算子与编译链路。针对 GLM-5.3-Flash 复杂的 DSA 加 KDA 混合注意力结构,联合团队借助 FlagOS 统一中间表示层早已打通昇腾 CANN 开源生态的基础,直接调用 FlagGems 面向 vLLM 和 SGLang 的融合算子库与 FlagTree 编译优化,将矛头直指昇腾 910C 的计算协同与显存搬运死穴。

有了底座提供的高性能算子原语与编译链路,产线侧便可以把全部火力压在结合真实业务负载的深度改造上。

联合调优交出了一份足以改写商业账本的硬核答卷。

在清昴的昇腾 910C 商业产线实测中,仅 Decode 阶段的优化就将字间延迟降低了 10% 以上,每输出 Token 时间降低了 8% 以上;叠加全链路业务调优后,GLM-5.3-Flash 在昇腾 910C 上的整体输出速度从原本的二十多 TPS 一举翻倍,跃升至五十多 TPS,彻底跨过了商业级可用的门槛。清昴随后将这套基于 FlagOS 底座封装打磨的方案正式推向了一线商业客户,在真实上线的 A/B 盲测中,前端调用服务的客户已经完全感知不到后台跑的是国际主流显卡还是国产加速卡,国芯 Token 工厂第一次在旗舰级大模型上跑出了让业务方“无感替换”的生产级体验。

而在面对高并发智能体负载的存量 910B 集群验证中,这套联合架构同样交出了惊艳的商业表现。集群的前缀缓存命中率从 82.65% 跃升至 94.15%,首字延迟中位数从原本难以忍受的 16.63 秒暴降 81.4%,直接压进 3.10 秒,真实线上服务的中位首字延迟稳在 2.3 秒左右,单字生成间隔稳在 22 毫秒上下;整套系统的逻辑服务吞吐达到优化前的 2.04 倍,在指定条件下按租金折算,单位算力成本比对应的商业 API 计费参考低出 19.4% 至 27.6%,让沉睡的存量机柜真正变成了高性价比的 Token 产线。

更重要的是,这种借力底座实现的商业突围并非只能锁定在单一芯片上。

当客户机房里摆着不同厂商的异构卡时,Token 工厂最怕的就是换一款卡就得推倒重来,而同一套 FlagOS 2.2 技术栈让跨芯复用变成了现实。在平头哥 810E 上运行 DeepSeek-V4.1-Flash,推理性能相比厂商原生 SGLang 版本跃升了 77% 到 82%,成功支撑起 16 路并发可用与最大 80 路并发;在海光 BW1100 上运行 GLM-5.3-Flash,整体性能提升超过 25%,多并发下单路速度稳在 90 TPS 以上;甚至在摩尔线程、沐曦以及英伟达等多款架构卡上,这套底座也同样跑出了超越厂商原生版本的吞吐表现。

通用软件栈在守住甚至提升性能的同时,让 Token 工厂真正具备了横跨多元硬件、平滑迁移交付的能力。

打开网易新闻 查看精彩图片

复刻“Linux 时刻”,国芯 Token 工厂的产业闭环

今天的国芯 Token 工厂,正在复刻软件工业史上那场著名的“Linux 时刻”,而 FlagOS 站在了底座标准的位置。

就像当年 Linux 统一了服务器内核抽象、才让下游得以生长出红帽(Red Hat)以及无数政企云服务商一样,无论是无锡等地签约落地的昇腾超节点 Token 工厂,还是电信运营商、金融政企的自建智算中心,B 端客户在真实生产环境中采购的是能够纳管异构芯片、扛住突发高并发、具备严苛分位数延迟保障的整套商业生产系统,绝非挂在开源仓库里的零散代码。

正是在这个传导链条上,FlagOS 完成了一次从开源社区向千行百业的商业放大。一方面,FlagOS 将适配好的多芯片模型版本直接同步到魔搭社区、腾讯云与国家超算互联网等公共平台,把全行业开发者触达异构算力的门槛压到最低;另一方面,凭借高度解耦的“乐高式”模块化组件,它替一线商业服务商卸掉了底层跨芯片适配的万斤重担。

像清昴智能这样的商业基础设施团队,得以直接站在这套标准化内核之上,专注于上层的商业化产线封装、异构资源调度与企业级 SLA 兜底,将国芯底座的性能红利毫无损耗地交付给 B 端客户。

正如各大云厂商会把企业机房里遇到的极端内核瓶颈反哺回 Linux 主干一样,清昴这类商业伙伴在真实业务流量中捕捉到宏观延迟分位数的波动,并将问题精确拆解至具体算子或通信链路,这些来自一线的高压反馈会被 FlagOS 社区迅速吸收并合入主干,进而让同一套软件栈反过来惠及后面所有的芯片厂商与 Token 工厂建设者。

站在 2026 年的尾声回望,外部远程算力通道收窄与制造封测端的严苛审查,确实为中国 AI 算力出了一道高难度的压力测试题。但压力之下,产业界也由此告别了过去各自为战、低水平重复造轮子的惯性。

当开源系统软件栈把芯片之下的标准路面彻底铺平,再经由商业化伙伴的工程封装输送至千行百业,中国“国芯 Token 工厂”正在跨过单纯堆砌硬件的初级阶段,真正跑通了属于自己的自主可控工业正循环。