3月27日消息,在2026中关村论坛期间,高效能AI Token生产服务商趋境科技发布全新一代 AI 推理平台趋境 ATaaS 高效能 AI Token 生产服务平台(Approaching.AI Token as a Service)。据悉,趋境 ATaaS 平台依托四大自研核心技术模块,构建覆盖异构整合、智能调度、弹性扩容的全链路能力,并将算力与能源封装为分层、面向具体应用场景定制的高效能 Token 服务,为国产算力提质增效、破解异构算力孤岛、实现规模化降本增效。
具体来看,趋境 ATaaS具有四大核心技术,一是异构推理2.0,大模型计算逻辑重构技术,其深度融合 CPU+GPU、国产与非国产算力异构 PD 分离等技术,重构模型计算逻辑,并基于算子与任务特征进行智能分流:CPU 承载低计算密度任务,国产算力卡处理高密度 Prefill,大显存显卡承载高访存 Decode。万卡级智算集群整体运营成本压降20%以上。
二是以存换算2.0,超体量 KV Cache 缓存技术,通过架构重构,将原本依赖昂贵显存承载的 KV Cache 存储空间扩展百倍至千倍,形成近乎无限的缓存池资源,缓存命中率最高可达90% ,直接削减90% GPU 算力开销。
三是虚实同构,算子级 SLO 仿真,基于算子级精细仿真,推演大模型 Token 生成全链路的吞吐、时延与访存表现,实现算力资源的智能预规划与动态调优;围绕业务 SLO 分级需求,精准切分异构算力配额并隔离资源优先级,可将万卡级智算集群硬件综合资源利用率最高提升数倍。
四是极致弹性,实现万亿参数大模型7秒快速拉起与动态配置变更、数百节点超大规模 EP 弹性调度,以及智能容灾重构和负载均衡,形成平台原生支持万卡级高性能横向扩展的关键能力。(定西)
热门跟贴