国家知识产权局信息显示,浙江聚算科技有限公司申请一项名为“面向NPU的扩散模型注意力计算类型感知动态调度方法”的专利,公开号CN122904955A,申请日期为2026年6月。
专利摘要显示,本发明属于人工智能推理优化技术领域,具体涉及面向NPU的扩散模型注意力计算类型感知动态调度方法。具体技术方案为:在推理服务启动时通过monkey‑patch方式全局替换PyTorch的scaled_dot_product_attention函数,根据输入张量的形状参数进行三级判定识别注意力类型,三级判定包括自注意力/交叉注意力/时序注意力、Transformer主干网络/其他模块、大序列/小序列,并根据注意力类型识别结果动态选择最优计算后端,长序列Transformer自注意力使用NPU Flash Attention后端,短序列及其他类型使用标准矩阵乘法+softmax后端。解决了NPU上Flash Attention后端在不同序列长度下性能表现差异显著的问题,无需修改模型源代码即可应用于各类扩散模型。
天眼查资料显示,浙江聚算科技有限公司,成立于2025年,位于温州市,是一家以从事科技推广和应用服务业为主的企业。企业注册资本1000万人民币。通过天眼查大数据分析,浙江聚算科技有限公司共对外投资了3家企业。
声明:市场有风险,投资需谨慎。本文为AI基于第三方数据生成,仅供参考,不构成个人投资建议。
本文源自:市场资讯
作者:情报员
热门跟贴