RNN/LSTM替代Transformer有哪些缺点?

1个回答

写回答

沛均

2025-10-26 06:30

+ 关注

股票
股票

背景是自然语言处理(NLP)和时间序列(time - series),也会涉及到Transformer。在这个问题情境下,我应该是比较熟悉循环神经网络(RNN)/长短期记忆网络(LSTM)类型模型的,所以来说说RNN/LSTM替代Transformer的缺点。简单来讲,我个人觉得RetNet相对RWKV是有进步的。它的模型设计简化不少,较为符合直觉,效果好也正常。在NLP领域,RNN已被淘汰。这是由于NLP中的序列并无真正的时间信息,RNN/LSTM并不适于对NLP数据进行模拟。要是修改幅度较大,用RNN/LSTM替代含注意力机制的Transformer,也许在大规模时间序列中会有不错的表现。RetNet/RWKV中用来替代attention的模块,更接近LSTM而非vanilla RNN,这种区分极为重要。vanilla RNN为何会被LSTM等取代?一个关键因素在于RNN侧重于局部信息。这就好比炒股,若只看到某股票近期涨了,RNN便会想当然地觉得还会涨。然而,时间序列数据存在非常复杂的时序依赖关系,像周期性数据或者长距离依赖。所以,RNN在处理时间序列数据时表现欠佳,这一情况通常被称为长距离的梯度消失问题。相较而言,LSTM的动机十分明显,即构建短期记忆和长期记忆。比如,借助门控(gate)增加长距离信息,通过遗忘减少当前信息。这两项改进是有心理学依据的,分别对应下图中的从长期记忆中检索(retrieval from long - term memory)和遗忘(forgetten)。

若将LSTM的学习目标视为心理学知识,可用下图表示。从心理学机制看,这相当于记忆模型。LSTM改进的遗忘门控与吸收信息,分别对应下图的遗忘和复习机制。遗忘门控即forgetten,是指数型衰减,之前RNN模型中的指数型衰减便源于此概念;吸收信息为relearning机制,能增加信息量,避免信息衰减至0。注意,下图的X轴为时间。LSTM虽比RNN有进步,但它仍是处理时序数据的模型,只是产生了一种呈之字形的非线性拟合。

简单来说,RNN类模型是为时间序列设计的,处理NLP数据较为困难。即便引入遗忘门控、增加长距离信息,也不能有效处理全局信息。2019年之后,在NLU任务方面,BERT类模型完全取代了RNN类模型。RetNet或RWKV若要取代transformer的attention,关键在于能否解决RNN模型存在的缺陷。Attention其实也存在局部依赖的问题(也许Attention后面连接的MLP能够学习整个批次的数据,从而修正一些局部依赖的问题)。仅含解码器的GPT也是自回归的,所以从理论上讲,RNN能够替代Attention,只是GPT模型的效果会更好一些。顺便说一句,这也是杨立昆(Yann LeCun)批评自回归模型的主要依据,RNN的自回归特性更显著,理论上表现应该更差一点。

华为
华为

RetNet和RWKV有没有解决RNN的缺陷?应该是解决了的。这两个模型都借鉴了LSTM的思想,引入了呈指数型递减的遗忘机制,而transformer架构又能修正局部依赖问题。所以从理论上讲,RetNet和RWKV在很大程度上弥补了RNN模型的缺陷,毕竟它们实际运用了LSTM的思想。并且,它们的效率比基于注意力、复杂度为O(N^2)的transformer要好,这也是这两个模型的主要卖点。所以@sonta提到RWKV作者一直在宣传的贡献,毕竟这是核心贡献。遗忘机制使该模型更接近LSTM,而这正是LSTM在RNN类模型中好用的根本原因。不过仔细思考就会发现,RetNet和RWKV的RNN模块,其遗忘机制是由指数型衰减的gamma达成的,而LSTM借助门控机制,且这种机制可学习,显然LSTM更为优越。LSTM未采用指数型衰减,那肯定是指数型衰减不好用。道理很简单,LSTM历经十几年修改才成最终版,不可能没人试过指数型衰减,应该是被淘汰了才未被使用。从心理学机制看,自然遗忘曲线呈指数型,这是因为现实数据具有连续性。时间序列数据其实是对连续数据的离散化采样,所以不必计算两个离散值间的完整轨迹,仅需算出这两个离散值间的遗忘值就行。于是LSTM采用门控机制,直接学习隐藏状态间的遗忘值,这就对应着我下面画的两个蓝点,而绿色箭头表示LSTM所学到的遗忘和吸收信息。采样数据是离散化的,其遗忘值可由model算出,不像连续值需平滑衰减曲线。那给LSTM加上指数型衰减有何意义?这是可想而知的。要是采用指数型衰减,如何确定在某个时间或位置间隔里要衰减多少信息?难道是设置一个超参数来调整吗?那为何不直接让模型学习遗忘的信息?

总结RetNet和RWKV都采用了指数型遗忘。但我觉得这是被LSTM淘汰的技术,添加超参数还不如LSTM的遗忘门控机制。因此,一个改进方向是让模型学习遗忘信息,要是做不到这一点,那这个替代注意力的模块在理论上就比不上LSTM。要是未来RetNet和RWKV模型能被改进成类似diffusion model的连续性质的模型,指数型遗忘就有了合理动机,其理论效果才可能比LSTM更好。从时间序列(time - series)拓展到自然语言处理(NLP)数据时,标记(token)是完全离散的,标记之间的距离不包含时间性信息,所以指数型衰减未必能对标记间的关系进行模拟。这正是2017年后循环神经网络(RNN)模型迅速被淘汰的根本原因,源于时间序列的RNN本就不适合处理NLP数据。在这种情形下,将注意力(attention)改成类似长短期记忆网络(LSTM)的RNN模型,甚至引入用于连续型数据的指数型遗忘,这相较于LSTM其实是一种倒退。这种模型真正有潜力之处或许在于大规模的时间序列。当前,深度学习在时间类型数据方面尚未取得实质性进展,华为近期基于transformer的盘古天气预测模型属于极少数有重大突破的深度学习模型,而在大多数情况下,LSTM、卷积类型模型和MLP这几种就足以应对了。不过,若要将这些基于RNN的转换器应用于时间序列,除了扩大数据规模外,还有许多地方需要改进,下面谈几点个人看法。首先,单纯的自回归(auto - regressive)模式不太适宜用于模拟时间序列(time - series)。像Informer这类的Transformer模型,已被证明在这方面不如LSTM(如LSTNet、TPA - LSTM等)、卷积类型的模型以及MLP。Informer的一个重要突破就在于摒弃了解码器(decoder)的自回归生成架构,它的解码器采用的是一次前向(one - forward)过程,将输入嵌入(input embedding)与所有预测的时间点合并起来,一次性输入,然后一次性输出所有的预测结果。之后,Transformer的自回归架构也变得越来越不占优势了。需要注意的是,今年的PatchTST这一作品仅采用了encoder架构,之后连接一个MLP来进行预测,其效果比encoder - decoder架构还要好。这意味着auto - regressive架构在处理时间序列时很可能效果不佳,甚至可能是一种累赘。(也有论文指出是cross - attention无用,但目前缺乏足够的理论依据)要是auto - regressive在学习time - series时存在问题,RNN/LSTM的auto - regressive特性比transformer更为显著,其潜力自然就比不上transformer(因为transformer仅用encoder就行)。就attention模块而言,attention在提取全局信息方面要比RNN/LSTM更出色,所以即便在time - series上,RetNet/RWKV的潜力也应该不及基于attention的transformer。

auto - regressive效果不佳,由此可引出第二个难题,即时间信息存在复杂的依赖关系。经典模型temporal convolutional network (TCN)就是个典型例子,学过信号处理的人都清楚,卷积原本就是用来处理时间信息的。按照卷积法则,卷积相当于在傅里叶频域做乘法,那么在时间序列上进行卷积操作就是让频率相乘,这会使频率放大,所以卷积类型的模型处理时间序列的效果比较好。那么改进transformer的方法就很容易想到了,即利用傅里叶变换在频域计算attention,其效果必然优于时域计算attention,小火的FedFormer便是基于此思路。我们都清楚,多数时候TCN的效果优于LSTM,这表明卷积比自回归更有效。如此一来,用卷积来改进attention,相比将attention替换成RNN或者LSTM,应该更具潜力。

举报有用(0)分享收藏

Copyright © 2025 IZhiDa.com All Rights Reserved.

知答 版权所有 粤ICP备2023042255号