国家知识产权局信息显示,中昊芯英(杭州)科技有限公司申请一项名为“面向大模型API网关的缓存优化方法及装置”的专利,公开号CN122137885A,申请日期为2026年4月。

专利摘要显示,本发明涉及大语言模型API网关缓存优化技术领域,尤其涉及一种面向大模型API网关的缓存优化方法及装置。该方法包括:接收客户端发送至大模型API网关的原始请求,识别并剥离原始请求中的动态噪声字段,得到静态请求上下文;对静态请求上下文进行多维度语义标准化处理,得到标准化的中间语义表示;从中间语义表示中提取意图、实体和约束三元组,并结合租户隔离盐值生成IEC结构化的语义指纹;将语义指纹依次通过多级缓存进行渐进式匹配,若匹配命中,则获取缓存结果。本发明能够解决现有技术中无法复用缓存而导致命中率低,向量检索缓存算力消耗大、延迟高且依赖GPU,同时无法有效处理请求动态元数据而易引发缓存穿透的问题。

天眼查资料显示,中昊芯英(杭州)科技有限公司,成立于2020年,位于杭州市,是一家以从事科技推广和应用服务业为主的企业。企业注册资本1498.8468万人民币。通过天眼查大数据分析,中昊芯英(杭州)科技有限公司共对外投资了11家企业,参与招投标项目8次,财产线索方面有商标信息91条,专利信息125条。

声明:市场有风险,投资需谨慎。本文为AI基于第三方数据生成,仅供参考,不构成个人投资建议。

本文源自:市场资讯

作者:情报员