金融界2025年4月25日消息，国家知识产权局信息显示，熵减（成都）智能科技有限责任公司申请一项名为“预训练大模型的训练方法、装置及设备”的专利，公开号CN119808885A，申请日期为2024年12月。

专利摘要显示，本申请提供一种预训练大模型的训练方法、装置及设备，涉及人工智能技术领域，该方法通过在对预训练大模型进行微调的过程中，基于预设梯度矩阵的类型，对第一低秩矩阵和第二低秩进行初始化，并基于初始化后的第一低秩矩阵和第二低秩矩阵对待更新模型进行迭代训练，可以避免对低秩矩阵进行全零初始化导致在模型训练过程中梯度消失或爆炸的问题，可以达到提高收敛速度的效果。

天眼查资料显示，熵减（成都）智能科技有限责任公司，成立于2023年，位于成都市，是一家以从事科技推广和应用服务业为主的企业。企业注册资本150万人民币。通过天眼查大数据分析，熵减（成都）智能科技有限责任公司专利信息1条。

本文源自：金融界

作者：情报员