国家知识产权局信息显示,麒麟软件有限公司申请一项名为“大语言模型推理快速采样方法、装置、服务器及介质”的专利,公开号CN121480735A,申请日期为2025年12月。

专利摘要显示,本发明实施例公开了一种大语言模型推理快速采样方法、装置、服务器及介质,所述方法包括:判断传入的K值是否小于预设的K值阈值,在小于预设的K值阈值时,根据所述K值,获取Top‑K候选词的候选分数;将Top‑K候选词的候选分数除以Temperature,得到Top‑K候选词的优化候选分数;将所述Top‑K候选词的优化候选分数分布写入GPU共享内存中,并利用线程束级规约,交换和归约所述Top‑K候选词的优化概率。可以在不降低推理精度的情况下,极大的提升了推理效率。

天眼查资料显示,麒麟软件有限公司,成立于2014年,位于天津市,是一家以从事软件和信息技术服务业为主的企业。企业注册资本30195.3834万人民币。通过天眼查大数据分析,麒麟软件有限公司共对外投资了23家企业,参与招投标项目2212次,财产线索方面有商标信息463条,专利信息1037条,此外企业还拥有行政许可1个。

声明:市场有风险,投资需谨慎。本文为AI基于第三方数据生成,仅供参考,不构成个人投资建议。

本文源自:市场资讯

作者:情报员