国家知识产权局信息显示,作业帮教育科技(北京)有限公司申请一项名为“基于动态连接数上限的大模型推理服务调度方法及系统”的专利,公开号CN121217738A,申请日期为2025年8月。
专利摘要显示,本发明公开基于动态连接数上限的大模型推理服务调度方法及系统,其中,大模型推理服务调度方法包括:接收大模型推理服务新请求;获取所有服务器的当前活动连接数,选择当前活动连接数最少的服务器为目标服务器;判断所述目标服务器是否达到动态连接数上限,所述动态连接数上限通过监控采集大模型推理服务的队列、接口的成功率、接口的时延指标动态计算得到;若判断结果为否,则将大模型推理服务新请求分配至所述目标服务器,若判断结果为是,则由剩余服务器中重新选择目标服务器,并判断是否达到动态连接数上限,循环执行,直至选出未达到动态连接数上限且当前活动连接数最少的目标服务器。
天眼查资料显示,作业帮教育科技(北京)有限公司,成立于2015年,位于北京市,是一家以从事科技推广和应用服务业为主的企业。企业注册资本200000万美元。通过天眼查大数据分析,作业帮教育科技(北京)有限公司共对外投资了3家企业,参与招投标项目8次,专利信息125条,此外企业还拥有行政许可15个。
声明:市场有风险,投资需谨慎。本文为AI基于第三方数据生成,仅供参考,不构成个人投资建议。
本文源自:市场资讯
作者:情报员
热门跟贴