Mamba 是一种新的状态空间模型架构，在语言建模等信息密集数据上显示出良好的性能，Mamba基于结构化状态空间模型的，并使用FlashAttention进行高效的硬件设计和实现。
打开网易新闻 查看精彩图片
Mamba 享有快速推理（吞吐量比 Transformer 高 5 倍）和序列长度线性缩放，并且其性能在高达百万长度序列的实际数据上得到了很多的提高。 作为通用序列模型骨干，Mamba 在语言、音频和基因组学等多种任务上实现了最先进的性能。 在语言建模方面， Mamba-3B 模型在预训练和下游任务方面都优于相同大小的 Transformer模型，并且与两倍大小的 Transformer 相匹配。
打开网易新闻 查看精彩图片
而Mamba 2 模型的论文就叫transformer are SSMs，transformer 模型本身就是一个状态空间模型。作者用了大量的篇幅介绍了 transformer 模型与状态空间的关系，既然两者有着密切的联系，那么 transformer 模型就可以结合状态空间模型的优点，并行运算的同时降低内存开销。
打开网易新闻 查看精彩图片
Mamba 采用状态空间模型作为其核心架构，而非 Transformer 的自注意力机制。状态空间模型通过递归方式更新隐藏状态，能够更高效地处理长序列数据。Mamba 的架构允许在训练过程中进行高度并行化，从而显著缩短训练时间。与 Transformer 的平方复杂度不同，Mamba 在序列长度上的复杂度为线性，这意味着它在处理长序列时效率更高。虽然 Mamba 旨在提高效率，但初步研究表明，它在各种序列建模任务上都能保持与 Transformer 相当的性能。
打开网易新闻 查看精彩图片
热门跟贴