国家知识产权局信息显示,华为技术有限公司申请一项名为“推理任务的方法、系统、计算设备集群及程序产品”的专利,公开号CN122390048A,申请日期为2025年1月。
专利摘要显示,公开了一种推理任务的方法、系统、计算设备集群及相关产品,属于AI技术领域。在该方法中,将推理任务的词元及第一文本数据的词元输入第一LLM,在第一LLM的预填充阶段获取第一文本数据中每个词元的注意力得分,并基于每个词元的注意力得分获取注意力得分满足压缩条件的词元,得到第一文本数据压缩后的词元;将第一文本数据压缩后的词元和推理任务的词元输入至第二LLM进行推理,得到推理任务的推理结果。由于只需根据第一LLM的预填充阶段来计算第一文本数据中每个词元的注意力得分,因此在压缩第一文本数据时,第一LLM无需执行预填充阶段之后的阶段,从而缩短了压缩第一文本数据的时长,提高了压缩第一文本数据的效率。
天眼查资料显示,华为技术有限公司,成立于1987年,位于深圳市,是一家以从事计算机、通信和其他电子设备制造业为主的企业。企业注册资本4114113.182万人民币。通过天眼查大数据分析,华为技术有限公司共对外投资了51家企业,参与招投标项目43483次,财产线索方面有商标信息14513条,专利信息127234条,此外企业还拥有行政许可1730个。
声明:市场有风险,投资需谨慎。本文为AI基于第三方数据生成,仅供参考,不构成个人投资建议。
本文源自:市场资讯
作者:情报员
热门跟贴