金融界2025年4月21日消息,国家知识产权局信息显示,深圳陆兮科技有限公司申请一项名为“运行大语言模型的信息处理装置”的专利,公开号CN119849549A,申请日期为2024年11月。
专利摘要显示,本发明公开了一种运行大语言模型的信息处理装置。为降低矩阵乘法给人工智能系统所带来的高昂计算成本,本发明信息处理装置包括若干数据处理子模块,至少一个数据处理子模块包括:Token混合器,包括RNN结构,其中所述RNN结构中的权重矩阵中的权重值取自‑1、0、1,或者取自‑1、1;通道混合器,是门控线性单元,且门控线性单元中的权重矩阵中的权重值取自‑1、0、1,或者取自‑1、1;所述Token混合器的输入和输出相加,获得第一结果,所述通道混合器的输入和输出相加,获得第二结果,且所述第一结果用于获得所述通道混合器的输入。本发明可消除矩阵乘法,降低计算成本且维持相当的性能表现,并表现出更陡峭的尺度定律。本发明适于人工智能领域。
天眼查资料显示,深圳陆兮科技有限公司,成立于2023年,位于深圳市,是一家以从事软件和信息技术服务业为主的企业。企业注册资本104万人民币。通过天眼查大数据分析,深圳陆兮科技有限公司共对外投资了3家企业,参与招投标项目1次,财产线索方面有商标信息4条,专利信息1条,此外企业还拥有行政许可5个。
本文源自:金融界
作者:情报员
热门跟贴