金融界2025年1月15日消息,国家知识产权局信息显示,上海锋行致远科技有限公司申请一项名为“一种基于存算一体控制器的大模型应用加速方法及系统”的专利,公开号CN 119293161 A,申请日期为2024年9月。
专利摘要显示,本发明公开了一种基于存算一体控制器的大模型应用加速方法及系统,方法包括:基于存算一体控制器集成计算模块和存储模块,存算一体控制器与GPU模块协同进行数据处理;将私有文档通过计算模块进行预处理和分割后存入私有向量知识库中;GPU模块和存储模块之间直接进行数据流转,对样本数据进行分布式存储和样本预处理;根据接收到的查询指令,利用计算模块进行模型推理,得到知识查询问题的向量特征;利用基于硬件特性的KV数据库,对向量特征进行入库和比对查询;计算模块直接将查询结果传入GPU模块进行模型推理。通过本发明的技术方案,提升了大模型训练、推理的速度,极大优化提升了大模型应用的架构流程、性能提升和资源降本。
天眼查资料显示,上海锋行致远科技有限公司,成立于2023年,位于上海市,是一家以从事科技推广和应用服务业为主的企业。企业注册资本117.6472万人民币。通过天眼查大数据分析,上海锋行致远科技有限公司共对外投资了1家企业,知识产权方面有商标信息10条,专利信息4条。
本文源自:金融界
作者:情报员
热门跟贴