对话高通工程技术高级副总裁：HBC性价比优于HBM，2bit量化已与中国厂商合作|hbm|内存|处理器|高通工程技术

智东西8月30日报道，本周，在高通美国圣迭戈总部，高通技术公司工程技术高级副总裁侯纪磊与智东西等媒体进行深入交流，围绕2bit量化瓶颈与应用潜力、高带宽计算（HBC）技术的优势及进展、端云协同的智能体体验如何实现等话题展开分享。

侯纪磊博士负责领导高通AI工程技术团队，这个部门包含研发、系统、商用软件、面向开发者的AI平台等若干团队，旨在保证强有力的端到端功能。

他谈道，AI研发与产品必须保持强耦合，两者之间需要形成一个“飞轮”，研发驱动产品、产品反哺研发，只有这样，整个体系才能有生命力。在AI领域，研发的意义不仅仅是做出一些炫酷的技术，更重要的是推动产品快速落地。

设备端模型需要在满足功耗和内存限制的前提下，追求更高推理性能。侯纪磊告诉智东西，高通在2bit量化感知训练（QAT）方案上走在行业前沿，已与部分中国厂商合作。在他看来，要解决2bit量化精度损失问题，关键在于用实际用例数据做匹配。

据他分享，高通内部做了一些评估，30B左右的模型在ARC-AGI-3等复杂基准测试上已表现得相当好。面向个人、家庭、私有化场景乃至一些小型企业，100B或以下的模型已经可以覆盖70%~80%的日常任务需求，剩余的复杂任务可以分配给云端处理。

提到高通对多家AI公司的收购，侯纪磊解释说，高通的大部分收购都是为了“差异补缺”，更多是考虑人才储备以及更好地在全球布局，被收购团队很快就会融入到高通完整体系之中。

此外，高通的一些端侧技术和其他技术储备，也将逐渐通过产品技术路线图的演进融合，形成更强的协同效应。

侯纪磊称，无论是目前的端侧推理平台，还是未来可能拓展到云端的推理平台，高通都希望在推理层面为各种AI入口提供支撑。

一、高通2bit量化方案走在行业前沿，已与部分中国厂商合作

大多数情况下，模型是基于32bit或16bit精度进行训练，将这样一个高比特模型放入应用时通常会转换成4bit。

侯纪磊谈道，在将4bit转为2bit、提供2bit量化感知训练（QAT）方案方面，高通是走在行业前沿的企业，在这一领域，高通已经在和部分中国厂商合作，提供一些参考方案。

从一些基准测试表现来看，高通的2bit参考方案，相对比较接近16bit、32bit的浮点（FP）模型的表现。

然而，在实际应用场景中使用模型，往往会有精度损失。侯纪磊认为主要原因有几方面：

首先，一个模型可能是基于FP16精度训练，当它从16bit压缩到2bit，模型的系统容量就会受到破坏，需要评估模型容量的损失会对厂商的实际系统用例造成多少影响。如果影响比较大，那就说明，把16bit压缩到2bit时，模型容量已不足以支撑最终用户的用例。

第二种解释是，16bit模型在多任务上的泛化能力是比较强的，而把它转换成2bit时，其多任务泛化能力会受到很大的约束和限制，同时OEM和模型厂商在落地时往往会提出更高的要求，如果使用普通的QAT并用一般的数据集去弥补这些损失，可能是不够的。

对此，侯纪磊认为，做2bit QAT一定要用实用的数据，要跟厂商最终的实际用例数据从数据分布和多任务泛化方面进行匹配，如果能找到这样的多元化、具备鲁棒性的泛在数据，那么2bit QAT依然具有较大的应用潜力。

举例来说，谷歌在近期推出的Gemma 4系列E2B和E4B模型，就提供了2bit QAT的模型检查点（Checkpoint）。谷歌在数据能力方面有优势，所以他们经过数据的筛选和优化，能使2bit QAT实现很好的效果。

当把这项技术应用到手机端或具体场景时，无论是模型厂商还是最终的OEM，都需要有足够的数据能力去推动这一技术发展。

二、详解HBC技术：将计算搬到数据附近，有效内存带宽提升几十倍

芯片方面，高通已陆续发布高通飞龙AI100、AI200、AI250、AI300等多代AI推理加速器。

在AI加速器领域，高通在今年6月举行的投资日活动上做了一个很有亮点的发布——高带宽计算（HBC）技术。

据侯纪磊透露，HBC是高通两三年前就在数据中心领域开始投入的方向。高通想把HBC作为切入点率先进入市场，逐步将高通在端侧积累的系统级、算法级优化能力融入其中，形成差异化优势。

在现代AI的规模下，移动数据已是整个系统中最大的能耗来源之一。

大模型推理与人类交互通常有两个过程：一是预填（Prefill），计算密集型阶段；二是解码（Decode），带宽密集型阶段。高通认为，在面向预填和解码的大模型处理场景，推动HBC的应用对高通及其客户都能带来实际价值。

根据高通博客文章，借助高通HBC第一代技术，高通飞龙AI250实现有效内存带宽相较于搭载LPDDR5X的高通飞龙AI200提升18倍；搭载高通HBC第二代技术的高通飞龙AI300，有效内存带宽较高通飞龙AI200提升54倍。

现有片上SRAM方案、基于HBM的加速器方案都存在一些限制。

片上SRAM方案将模型保存在直接置于处理器裸片之上的超高速内存中。其带宽极高，时延极低，但片上内存每比特成本高昂，且单个器件上能容纳的容量受限，因此一个大模型必须分散到大量器件上，结果是在小规模下速度出色，单位吞吐量成本低，但随着模型增长，在硅片、功耗与系统复杂度上付出了高昂代价，因为容量被牺牲换取了带宽。

高带宽内存（HBM）方案是主流的AI加速器方案，在一颗大型处理器旁边环绕堆叠式HBM，既提供充足容量，又提供了相对较高的带宽。该方案用少得多的器件即可容纳模型，但数据仍要从内存跨入处理器，致使功耗较高。

高带宽计算（HBC）方案采用相对低成本的DDR内存，通过3D堆叠的近存计算架构，把数字逻辑芯片（Digital Die）放在了内存架构底层，这之上集成了计算单元，能够直接承载计算。

该方案将计算搬到数据处，使最数据密集的操作在内存模块内完成，只将紧凑的结果发送到接口之外，从一开始就消除了大部分数据流，因此能以整体较低的AI推理总拥有成本，提供高有效内存带宽、低每token能耗和良好的内存容量。

成熟、大规模量产的内存技术，提供了一条务实的规模化路径。让近存计算变得切实可行的堆叠技术本身也已成熟：3D集成方面的进展，尤其是将DRAM直接键合到逻辑芯片之上的能力，正在从实验室走向大规模量产。

据高通估算，在大批处理大小下，高通HBC相比HBM具有6倍的每瓦特带宽；在小批处理和大批处理大小下，高通HBC相比SRAM具有200倍的每瓦特容量。

其他方案优化的是数据移动，而HBC在很大程度上避免了数据移动。

计算机架构师用Roofline模型来推演性能。该模型以工作负载的算术强度（即每搬运一个字节所执行的运算次数）为横轴，绘制其可达性能。只有当工作负载在每个字节上执行了足够多的算术运算，足以覆盖取回该字节的成本时，它才能达到峰值算力。低于这一临界点，它就位于一个斜面屋顶之上，而屋顶的高度完全由带宽决定。