广和通要闻
近日，广和通AI研究院基于高通跃龙TMQCS8550处理器，率先完成Qwen3.5系列小尺寸模型在高通NPU上的端侧部署适配验证，打通模型转换、混合精度量化、NPU后端编译与端侧推理运行链路，为前沿大模型在端侧设备本地运行提供关键技术支撑。
端侧NPU适配Qwen 3.5，难在哪？
过去，端侧大模型部署更多围绕Full Attention等机制展开。Qwen3.5系列采用混合注意力架构，引入了Linear Attention相关机制，有助于提升长上下文处理效率，也让模型结构更复杂。
在云端，大模型可以依托更充足的算力和内存运行；到了端侧NPU，模型需要重新完成转换、量化、编译和推理验证，才能适配终端设备的计算方式。一旦适配不足，就可能出现编译失败、运行不稳定、NPU算力调用不充分等问题，直接影响设备响应速度、功耗表现和本地交互体验。
因此，Qwen3.5端侧NPU适配的难点，在于能否让它在资源受限的端侧设备中稳定运行，并充分调用NPU算力资源。
全链路适配，释放端侧NPU算力资源
围绕Qwen3.5模型结构与高通跃龙TMQCS8550处理器特性，广和通AI研究院基于Fibocom AI Stack使能平台开展专项适配。Fibocom AI Stack使能平台覆盖AI Module、AI工具链、AI引擎、AI模型仓、支持与服务等，覆盖模型适配、推理部署与应用开发等关键流程。
本次适配重点解决三类核心问题：模型转换与编译可行性、量化后运行稳定性、推理过程中的缓存与状态维护。通过对模型结构和NPU后端特性的联合适配，广和通完成了Qwen3.5系列小尺寸模型从模型转换、混合精度量化、NPU后端编译到端侧推理验证的完整链路。
这意味着，Qwen3.5已具备在高通跃龙TMQCS8550处理器NPU后端本地运行的可行性。通过面向NPU后端的专项适配，模型推理可更充分调用端侧专用AI算力资源，为AI模组和边缘智能设备在低功耗、低时延、本地化部署条件下运行大模型提供技术基础。
让Qwen3.5等前沿模型，赋能端侧设备更智能
基于此次适配成果，广和通可进一步将以Qwen3.5为代表的前沿大模型能力，转化为端侧设备和行业方案可调用的本地推理能力。
在端侧Agent、AI会议机等场景中，该能力可与语音识别、知识库检索和工具调用能力结合，支撑智能终端在本地完成自然语言交互、内容理解、信息提炼与任务分解等。
在智能座舱、边缘智能设备等场景中，该能力可支撑本地多轮对话与任务辅助，提升弱网、无网或高隐私要求场景下的交互连续性、响应效率与数据本地化处理能力。
多项技术攻坚推进，广和通端侧AI版图加速展开
Qwen3.5系列小尺寸模型在高通跃龙TMQCS8550处理器上的NPU适配验证，是广和通AI研究院围绕端侧AI关键技术推进的重要成果，也进一步验证了Fibocom AI Stack使能平台在前沿模型适配中的工程化能力。
围绕前沿模型适配、长上下文处理、端侧Agent与具身智能推理等方向，广和通将持续推进多项AI技术创新，加速大模型能力向终端设备与业务场景落地，助力千行百业迈向万物智联的AI时代。
(广和通 动态宝)
热门跟贴