10月20日消息,今日,记忆张量(MemTensor)正式发布并开源记忆原生基础模型MemT 1.0系列,包括MemT-1.0-Flash和MemT-1.0-Nano两款模型。根据官方公布的测试结果,该系列模型在11项记忆基准中位列同类方法前两名,长历史场景下端到端推理速度最高提升近4倍。

据介绍,MemT 1.0采用可训练的内部记忆模块,将历史信息与任务经验写入固定大小的记忆状态,后续任务可直接调用,无需反复输入完整历史文本。模型基于340亿Token训练语料,通过两个阶段分别学习记忆写入和记忆调用能力。

性能方面,在11项记忆基准测试中,MemT-1.0-Flash平均得分50.6分,MemT-1.0-Nano平均得分47.0分,分别位列参数化记忆方法第一、第二。

效率方面,在128K历史长度下,MemT 1.0端到端推理速度提升约1.86倍;在256K历史长度下提升约3.99倍,查询首字延迟保持在104至112毫秒。相比之下,传统完整上下文方案在256K历史下的首字延迟约为445毫秒。

存储方面,在256K历史长度下,MemT 1.0每条会话的记忆状态约占40 MiB,较传统方案的5.06 GiB缩减约130倍。

此外,在编程智能体测试中,MemT-1.0-Nano引入历史解题经验后,在SWE-bench Verified上的平均成功率由66.07%提升至69.73%,在SWE-bench Multilingual上的平均成功率由60.00%提升至63.56%。

目前,MemT 1.0模型权重已通过Hugging Face和GitHub开放。记忆张量表示,后续将继续提升长期记忆能力、扩展记忆容量,并降低记忆更新成本。(定西)