作者｜吴瑞琪
微信 ｜RachieWoo
很多人以为，把一个大模型放进手机或电脑，就像下载一个 App 一样简单。
实际上，手机、电脑和智能硬件的芯片各不相同，同一个模型换一台设备，往往就要重新适配。开发者不仅要让它跑起来，还要解决速度、耗电和稳定性问题。
在云端，这套工作已经有成熟的工具。但是在终端设备，尤其是新一代设备里专门处理 AI 任务的计算单元（NPU）上，工具几乎是空白：一个新模型发布后，常常需要数周甚至数月的适配。
Nexa AI 做的，就是解决这部分最麻烦也最容易被忽视的工作。
2023 年，斯坦福校友 Alex Chen 和 Zack Li 创办 Nexa AI，做了一套开源工具 Nexa SDK，让开发者不必逐个研究不同芯片，只需很少的代码，就能把模型部署到手机、电脑和智能设备上。与大多面向传统处理器的开源项目不同，Nexa 很早就把重心押在 NPU 上，直接针对芯片特性优化模型，并把行业数周甚至数月的适配周期压缩到了当天：模型一发布，开发者就能在设备上跑起来。
这套工具很快就在开发者社区走红：登上 GitHub Trending 第一，获得近 8,000 个 Star，拿下 Product Hunt 榜首。
去年 8 月，Nexa 把"NPU First"确立为产品重点后，很快被高通的开发者关系团队注意到，随后被不断引荐给内部的技术、创投和管理团队。一位高通 VP 亲自深度试用产品后发现，Nexa 的方案在模型运行速度、效果和支持新模型的速度上，做出了比高通现有方案更好的结果。
今年 3 月中旬，Nexa AI 的 12 人团队正式加入高通，并保持完整建制。Nexa SDK 的能力将以面向高通平台的生成式 AI 推理框架 GenieX 延续。
端侧 AI 现在到底发展到哪一步？NPU First 解决的究竟是什么问题？一家已经形成开发者影响力的创业公司，为什么认为加入芯片平台是更好的路径？
近期，硅星人与 Nexa AI 联合创始人 Alex Chen 进行了对话。以下为对话实录，经不改变原意的编辑。
硅星人：Nexa AI 最早是怎么与高通产生联系的？一开始有正式的技术或产品合作吗？
Alex： 我们一直在做 on-device AI，也有自己的开源项目 Nexa SDK。高通在过去很长一段时间里，都把端侧 AI 作为核心战略。相比之下，英伟达、AMD 等芯片公司的绝对重点还是云端 AI。
我们大约从 2024 年 10 月开始关注高通。当时我们在为 Nexa SDK 找客户，发现很多需要端侧 AI 的客户使用的是高通芯片。但高通芯片不像英伟达那样有非常成熟的 CUDA 框架，要在上面部署模型仍然比较困难。所以我们投入了很多精力，研究怎么把模型部署到高通芯片上。
一开始，我们和高通内部没有任何正式联系。到 2025 年 8 月，我们对产品做了一次很重要的升级，把 NPU 推理作为重点。因为当时已经有很多设备配备 NPU，但 NPU 的推理逻辑与 GPU 不同，软件生态也不理想。我们觉得这是创业公司的机会。
产品发布后，很快引起了高通两位同事的注意。其中一位主要负责合作伙伴和开发者关系。他不断把我们介绍给高通内部的不同团队，我们的项目后来也经常出现在高通的官方账号上，他们还为我们写了不少博客。整个过程逐渐引起了管理层的关注，最后走到收购，我觉得是水到渠成。
硅星人：从哪一次产品验证开始，双方真正开始讨论收购？
Alex： 因为我们的软件是开源的，所有人都可以直接试用。后来，高通负责开发者关系的负责人把我们介绍给了 Qualcomm Ventures 团队。Ventures 的投资人体验过产品后觉得很有意思，又把我们推荐给了一位负责相关业务的 VP，之后我们也向高通的一位 EVP 介绍了整个项目。
这位 VP 自己深度试用了我们的产品。他发现，无论是在性能还是模型质量上，我们相比高通当时已有的方案都有一定优势。除此之外，还有一点让他们印象特别深刻：我们支持新模型的速度非常快。
按照当时行业里的常见节奏，一款新模型发布后，从完成适配到在特定芯片上稳定运行，往往需要两三个月时间。我们当时基本已经做到了“Day-0 Support”，也就是模型发布当天，就能够在软件框架里完成支持。
对于开发者来说，这意味着可以第一时间使用最新模型；而对于芯片厂商来说，它的意义更大。因为越早证明自己的芯片能够支持最新模型，就越能向手机、PC 等 OEM 客户展示平台能力。在很多情况下，这不仅关系到技术竞争力，也会直接影响后续的客户合作和采购决策。
硅星人：高通最终看中的核心资产是什么？
Alex： 第一，我们已经做出了相对成熟的软件，可以快速 onboard 新模型，并实现模型推理。软件本身的 IP 是最核心的。
第二，我们已经形成了不错的用户群体和开发者生态。Nexa SDK 在 GitHub 有接近 8,000 个 Star，也上过 GitHub Trending 第一，在 Product Hunt 拿到过第一名。在 on-device AI 这个相对小的社区里，我们已经有一定知名度。
简单来说，一方面是已经经过验证、可以直接使用的软件；另一方面是围绕产品形成的开发者生态。
硅星人：端侧 AI 已经谈了很多年，但真正能被用户感知到的落地似乎仍然很少。现在大概处于什么阶段？
Alex： 其实已经有很多端侧 AI 真正投入使用，只是它的一个特点是，用户平时不一定能感知到。
比如大部分智能手机拍照时，从按下快门到最终生成图片，中间会有二十多个小型 AI 模型对图像进行处理。我们现在用 Teams 视频会议，摄像头捕捉到的像素和最终呈现的画面之间，也有 AI 模型实时处理。如果放到云端再传回来，很难做到这么快。
异常检测、机器人本地关节控制等任务，也已经大量使用端侧模型。这些主要是非生成式 AI。
生成式 AI 方面，很多手机 OEM 都在推动本地模型。苹果已经开始使用，但效果可能还没有达到大家想象中“特别好用”的状态，还需要一些时间。
不过，硬件正在快速变好。终端算力和内存能力每年都在快速迭代，这意味着设备可以支持越来越大的模型；与此同时，相同尺寸的模型本身也在不断变强。这两个因素会共同推动端侧 AI 能处理的问题越来越多。
硅星人：未来端侧模型和云端模型的关系会是什么样的？
Alex： 我觉得云端和端侧联合推理可能会成为趋势。
现在，本地模型已经可以处理功能调用、文本信息提取等任务。比如从一份很长的文本里提取信息，如果本地模型可以完成，速度很快，边际成本也几乎为零。如果全部调用云端大模型，任务本身虽然简单，却会消耗大量 Token。
未来更合理的做法可能是：适合在本地完成的任务交给端侧模型，真正复杂的推理再调用云端。
硅星人：Nexa 一直强调“NPU First”。它具体是什么意思？
Alex： NPU 是 Neural Processing Unit，也就是专门为 AI 运算设计的处理单元。
CPU 需要处理操作系统和各种通用计算；GPU 可以同时进行大量线程计算，因此很适合 AI。NPU 更进一步，它在设计时就去掉了很多 AI 推理不需要的通用能力，并重点优化整数等模型推理常用的数据类型。
正因为它更专用，NPU 在支持新模型和软件生态上，反而不如 CPU 和 GPU 成熟。高通的大部分芯片同时有 CPU、GPU 和 NPU。我们提出 NPU First，是因为我们认为 NPU 是当下最迫切需要解决的部分，而且一旦解决，价值也最大。
硅星人：如果用一句比较技术的话解释 Nexa 的壁垒，它主要来自 runtime、量化、硬件调度，还是跨平台工程能力？
Alex： 最大的壁垒，是我们对 NPU 硬件有比较深入的理解，并从软件层面进行了 hardware-aware software design。也就是软件设计从一开始就理解硬件的特性，因此可以同时在速度和模型质量上取得优势。
硅星人：Nexa SDK 并入高通后变成 GenieX，产品本身发生了什么变化？
Alex： 以前 Nexa SDK 的 slogan 是“Any Model, Any Backend”，我们希望把任何模型部署到任何硬件 backend 上。
并入高通以后，我们不再支持其他芯片后端，现在只支持高通芯片。这是最大的变化，其他部分没有本质区别。
硅星人：有没有一个真实场景，可以说明端侧 AI 不只是 Demo，而是确实比云端方案更合适？
Alex： 最近有一个 Demo，可以在本地计算机运行一个约 20B 参数的模型，把它作为 AI Agent 的 API，再让 Agent 帮用户完成发票报销。
发票里可能包含隐私信息，Agent 还需要控制本地电脑、操作报销系统。类似这种涉及敏感数据和本地操作权限的任务，就适合用本地模型完成。现在它已经可以正常工作，只是速度还不如云端，但会持续提升。
硅星人：本地计算省掉了网络传输，为什么速度反而可能不如云端？
Alex： 本地设备的算力是固定的，云端使用的是 A100、H100，甚至更新一代的工业级 GPU，计算能力显著强于个人设备。
端侧真正节省的是信息来回传输的延迟。所以，那些模型本身计算量不大、但对实时性要求很高的任务，尤其适合放在本地。比如视频会议的画面处理几乎需要瞬时完成，如果把图像传到云端处理再传回来，速度会慢很多。
但 LLM 需要不断生成 Token，模型计算时间占据了主要部分。这种任务即便不需要网络传输，本地运行也不一定比云端更快。
硅星人：被收购前，有没有考虑过继续独立发展？为什么最终认为加入大平台是更好的路径？
Alex： 我们当然考虑过继续独立发展。但研究下来，端侧 AI 在商业模式上有一个很特别的地方。
如果把某个模型在某款芯片上的端侧部署做得足够好，它可以极大促进这款芯片的销售。所以，最终的商业模式其实是卖芯片，真正的付费用户主要是手机、电脑等设备的 OEM 厂商。
端侧 AI 技术与某一款芯片深度整合后，可以产生很好的商业价值；但端侧 AI 软件本身如果单独变现，会面临难以 scale 等问题。最后，我们是基于端侧 AI 的商业格局做出了加入高通的决定。
硅星人：加入高通后，接下来 12 个月最重要的目标是什么？
Alex： 最重要的目标，是让 GenieX 覆盖绝大部分、甚至几乎全部 Qualcomm 芯片的开发者，让他们在自己的工作流里使用这款 SDK。核心仍然是推广产品，并根据开发者反馈持续迭代。
硅星人：团队目前是怎样的状态？
Alex： 我们一共有 12 个人，全部加入了高通，目前仍然保持为一个完整团队。
加入高通后，我们可以更加专注，只关注一套芯片平台。需要适应的是与更多部门合作，以及更规范的产品发布流程。产品也要更具体地考虑高通芯片的用户。
以前，我们做研发的同时，还需要分出大量精力做产品推广、合作和增长。现在高通有成熟的 marketing 和 developer marketing 团队帮助我们，对于我们两位创始人来说，也重新回到了最喜欢的状态：专注于产品和技术开发。
点个“爱心”，再走 吧
热门跟贴