国家知识产权局信息显示,华为技术有限公司申请一项名为“用于模型推理的方法和装置、集群、产品”的专利,公开号CN122965701A,申请日期为2025年4月。
专利摘要显示,本公开的实施例涉及一种用于模型推理的方法和装置、集群、产品。该方法包括接收用户输入,并且从模板库中取回与该用户输入相对应的目标模板,该目标模板包括目标模板序列,其中模板库包括语言模型响应于历史用户输入而输出的多个模板序列。该方法还包括基于分段窗口,从目标模板序列划分出多个词元分段。该方法还包括通过将多个词元分段中的每个词元分段的第一部分与用户输入的第二部分进行比较,来确定命中的目标词元分段。该方法还包括将用户输入与目标词元分段拼接并馈入到所述语言模型中进行推理,以获取模型输出。以此方式,能提高推测词元的准确性,还能改进其并行处理和响应时效,从而通过减少解码步来缓解重新加载权重对解码的性能劣化。
天眼查资料显示,华为技术有限公司,成立于1987年,位于深圳市,是一家以从事计算机、通信和其他电子设备制造业为主的企业。企业注册资本4114113.182万人民币。通过天眼查大数据分析,华为技术有限公司共对外投资了51家企业,参与招投标项目46685次,财产线索方面有商标信息14596条,专利信息131162条,此外企业还拥有行政许可1761个。
声明:市场有风险,投资需谨慎。本文为AI基于第三方数据生成,仅供参考,不构成个人投资建议。
本文源自:市场资讯
作者:情报员
热门跟贴