国家知识产权局信息显示,四川蜀天信息技术有限公司申请一项名为“一种基于WebGPU的大模型推理优化方法、系统及设备”的专利,公开号CN121833273A,申请日期为2025年12月。
专利摘要显示,本申请提出了一种基于WebGPU的大模型推理优化方法、系统及设备,涉及生成式人工智能技术领域。其包括:响应于浏览器访问物理GPU适配器的请求,创建设备并获取硬件特征;获取本地大模型,并根据硬件特征、模型数据和权重数据进行算子融合决策,得到算子融合策略;获取用户输入信息并词元化为输入词元向量,以及根据算子融合策略、输入形状对其进行颗粒度调整,得到输出词元向量;调用WebGPU的API接口创建GPU缓冲区,并根据算子融合策略处理后的大模型计算逻辑,生成计算管线并绑定资源组;将权重数据和输出词元向量加载至GPU缓冲区中,执行获得推理结果。该方案作为大模型本地化推理的浏览器端方案,可高度保障用户隐私。
天眼查资料显示,四川蜀天信息技术有限公司,成立于2019年,位于雅安市,是一家以从事互联网和相关服务为主的企业。企业注册资本10098.85342万人民币。通过天眼查大数据分析,四川蜀天信息技术有限公司共对外投资了5家企业,参与招投标项目361次,财产线索方面有商标信息35条,专利信息63条,此外企业还拥有行政许可25个。
声明:市场有风险,投资需谨慎。本文为AI基于第三方数据生成,仅供参考,不构成个人投资建议。
本文源自:市场资讯
作者:情报员
热门跟贴