国家知识产权局信息显示,北京面壁智能科技股份有限公司申请一项名为“一种大模型训练的矩阵正交优化方法、系统及介质”的专利,公开号CN122864513A,申请日期为2026年7月。
专利摘要显示,本发明公开了一种大模型训练的矩阵正交优化方法、系统及介质,属于大模型训练技术领域,用于解决现有的矩阵正交化优化器的整体计算开销大,无法保留矩阵几何约束对参数更新的增益作用,难以实现训练收敛效果与计算效率的最优平衡的技术问题。方法包括:将训练过程划分为多个正交化周期,在正交化阶段对每个训练步的二维权重矩阵进行矩阵正交化运算得到正交化更新方向矩阵;在非正交化阶段将正交化更新方向矩阵与当前动量矩阵进行插值融合,得到近似几何更新方向矩阵对二维权重矩阵进行参数更新;在残差校正阶段对当前正交化周期内累积的残差信息进行矩阵正交化运算得到残差校正方向;根据残差校正方向对每个训练步的的二维权重矩阵进行参数修正。
天眼查资料显示,北京面壁智能科技股份有限公司,成立于2022年,位于北京市,是一家以从事软件和信息技术服务业为主的企业。企业注册资本36000万人民币。通过天眼查大数据分析,北京面壁智能科技股份有限公司共对外投资了16家企业,参与招投标项目20次,财产线索方面有商标信息174条,专利信息20条,此外企业还拥有行政许可2个。
声明:市场有风险,投资需谨慎。本文为AI基于第三方数据生成,仅供参考,不构成个人投资建议。
本文源自:市场资讯
作者:情报员
热门跟贴