金融界2025年4月18日消息，国家知识产权局信息显示，山东浪潮科学研究院有限公司申请一项名为“7242.Transformer模型的训练方法、装置、电子设备及可读存储介质”的专利，公开号 CN119807714A，申请日期为2025年3月。

专利摘要显示，本发明提供一种Transformer模型的训练方法、装置、电子设备及可读存储介质，涉及机器学习技术领域，包括将原始Transformer模型每层中的注意力头分为自注意力头和跨注意力头，使用与原始Transformer模型结构一致的向量模型对目标领域文本进行特征提取，得到目标领域文本特征向量，在跨注意力头中引入目标领域文本特征向量进行特征融合，得到中间Transformer模型，使用目标领域文本训练中间Transformer模型，得到目标Transformer模型；能够在低计算资源场景下，高质量实现大规模预训练语言模型从源领域到目标领域的文本迁移任务，显著降低了领域迁移时对目标领域文本训练数据的需求，降低了计算资源成本，提升了大规模预训练语言模型识别不同领域文本的适应性。

天眼查资料显示，山东浪潮科学研究院有限公司，成立于2021年，位于济南市，是一家以从事研究和试验发展为主的企业。企业注册资本20000万人民币。通过天眼查大数据分析，山东浪潮科学研究院有限公司共对外投资了1家企业，参与招投标项目93次，财产线索方面有商标信息22条，专利信息2099条，此外企业还拥有行政许可5个。

本文源自：金融界

作者：情报员