国家知识产权局信息显示,聚好看科技股份有限公司申请一项名为“一种大语言模型的推理加速方法及电子设备”的专利,公开号CN122864664A,申请日期为2026年6月。
专利摘要显示,本申请涉及人工智能技术领域,提供一种大语言模型的推理加速方法及电子设备。该方法针对每个请求,通过统计最近若干次历史推理时各猜测位置上的历史词元被大语言模型接受的历史频率,实现请求级的自适应步长调整,从而适用不同任务或同一任务不同生成阶段的需求,并且,构建了异构的草稿模型池,通过推测步长与临界步长的比较,从草稿模型池中选择合适的草稿模型输出候选词元序列由大语言模型进行并行验证,避免因固定推测步长导致草稿模型的接受率下降或计算浪费,从而最大化每轮大语言模型验证的收益,提升推理速度,同时,通过模型路由,消除了单一草稿模型在多并发场景下因步长差异导致的等待开销,从而在保证高接受率的同时降低单步延迟。
天眼查资料显示,聚好看科技股份有限公司,成立于2016年,位于青岛市,是一家以从事互联网和相关服务为主的企业。企业注册资本12500万人民币。通过天眼查大数据分析,聚好看科技股份有限公司共对外投资了4家企业,参与招投标项目22次,财产线索方面有商标信息422条,专利信息1167条,此外企业还拥有行政许可12个。
声明:市场有风险,投资需谨慎。本文为AI基于第三方数据生成,仅供参考,不构成个人投资建议。
本文源自:市场资讯
作者:情报员
热门跟贴