观点网讯:7月28日,阿里云宣布其真武M890超节点实例已Day0适配KimiK3模型,成为国内首个跑通近3万亿参数模型的超节点。
双方将进一步展开国产算力合作,阿里云、平头哥与Kimi团队从软件栈、算子等层面进行了深度联合适配。千问AI平台和阿里云百炼也将提供KimiK3的模型API。
为提升KimiK3的运行效率,真武M890对KimiK3模型架构的核心算子进行优化,显著提升推理的算力和带宽利用率,可稳定支持最1M长上下文,从容应对长文档理解、复杂推理等场景。
测试显示,适配后模型的首Token时延降低约35%,单卡解码吞吐提升1.8倍。
免责声明:本文内容与数据由观点根据公开信息整理,不构成投资建议,使用前请核实。
热门跟贴