9月23日晚,小米MiMo大模型负责人罗福莉提前披露,MiMo-V3将启用全新架构,作为其核心组件的HySparse2已率先登场,技术论文同步公布。

该技术可降低预填充开销、缩减KV缓存占用,并优化长上下文检索能力。

此前,小米在9月22日刚发布MiMo-V2.6系列,其Pro版本以46分的综合智能指数在当前开源权重模型中排名第一。

按照罗福莉给出的数据,与MiMo-V2.6所用的Hybrid SWA架构对照,100万Token上下文下,HySparse2长输入的预填充(Prefill)计算量降至约1/5,KV Cache占用降至约1/4.5;长上下文检索能力同步增强,AgentPPL与LongPPL两项指标均出现下降。

市场有风险,投资需谨慎。本文为AI基于第三方数据生成,仅供参考,不构成个人投资建议。

本文源自:市场资讯

作者:行舟