Mamba架构与RWKV、Transformer相比有何优势和潜力？

中国

应该会有效果。当前神经网络主要分为四种架构：MLP、CNN、RNN 和 Transformer，也有它们的混合形式。这四种架构都在历史上发挥了重要作用，展现了独特的价值。Mamba属于RNN（SSM），Hyena是CNN，RWKV则是RNN或线性变换器。目前在Arxiv上，有人将原有架构替换为Mamba，效果有所提升。虽然这类似水论文，但可通过可视化展示Mamba的优势。目前，RNN模型在语言建模任务中的损失值已达到与Transformer相当甚至更低的水平。在故事生成等任务中，RNN模型的表现可能更加自然流畅，但在某些专门为Transformer设计的评估指标（如重复前文内容）上略逊一筹。总体来看，两者的能力水平和上限相差无几。近期出现了一些混合架构的模型，例如新推出的Jamba。

混合架构模型的实际潜力尚未被充分认识。这种模型能够融合不同架构的优点，最大化各自长处并弥补短板。在训练时，各部分架构会提取相应的特征，从而增强模型的特征表达多样性。过去对其重视不足，或许源于Attention is all you need这一标题的影响。然而从当前视角出发，在合理初始化与有效训练的基础上，模型架构越多样化，其性能往往越出色。在中国，若想尝试新架构，建议选择RWKV而非Mamba。原因是RWKV有企业支持和客服服务，且每年迭代一次架构。当前两者性能相当，但RWKV在外部资源和支持方面具备Mamba所不具备的优势。真正有能力的研究者，我建议别拘泥于Mamba、RWKV和Transformer，应着手开发全新架构。AGI会基于哪种架构实现尚无定论。神经图灵机（NTM）潜力巨大，若能攻克并行训练难题，很可能成为AGI架构的有力选项。探索未知，方能引领未来。