
股票
若将LSTM的学习目标视为心理学知识,可用下图表示。从心理学机制看,这相当于记忆模型。LSTM改进的遗忘门控与吸收信息,分别对应下图的遗忘和复习机制。遗忘门控即forgetten,是指数型衰减,之前RNN模型中的指数型衰减便源于此概念;吸收信息为relearning机制,能增加信息量,避免信息衰减至0。注意,下图的X轴为时间。LSTM虽比RNN有进步,但它仍是处理时序数据的模型,只是产生了一种呈之字形的非线性拟合。
简单来说,RNN类模型是为时间序列设计的,处理NLP数据较为困难。即便引入遗忘门控、增加长距离信息,也不能有效处理全局信息。2019年之后,在NLU任务方面,BERT类模型完全取代了RNN类模型。RetNet或RWKV若要取代transformer的attention,关键在于能否解决RNN模型存在的缺陷。Attention其实也存在局部依赖的问题(也许Attention后面连接的MLP能够学习整个批次的数据,从而修正一些局部依赖的问题)。仅含解码器的GPT也是自回归的,所以从理论上讲,RNN能够替代Attention,只是GPT模型的效果会更好一些。顺便说一句,这也是杨立昆(Yann LeCun)批评自回归模型的主要依据,RNN的自回归特性更显著,理论上表现应该更差一点。

华为
总结RetNet和RWKV都采用了指数型遗忘。但我觉得这是被LSTM淘汰的技术,添加超参数还不如LSTM的遗忘门控机制。因此,一个改进方向是让模型学习遗忘信息,要是做不到这一点,那这个替代注意力的模块在理论上就比不上LSTM。要是未来RetNet和RWKV模型能被改进成类似diffusion model的连续性质的模型,指数型遗忘就有了合理动机,其理论效果才可能比LSTM更好。从时间序列(time - series)拓展到自然语言处理(NLP)数据时,标记(token)是完全离散的,标记之间的距离不包含时间性信息,所以指数型衰减未必能对标记间的关系进行模拟。这正是2017年后循环神经网络(RNN)模型迅速被淘汰的根本原因,源于时间序列的RNN本就不适合处理NLP数据。在这种情形下,将注意力(attention)改成类似长短期记忆网络(LSTM)的RNN模型,甚至引入用于连续型数据的指数型遗忘,这相较于LSTM其实是一种倒退。这种模型真正有潜力之处或许在于大规模的时间序列。当前,深度学习在时间类型数据方面尚未取得实质性进展,华为近期基于transformer的盘古天气预测模型属于极少数有重大突破的深度学习模型,而在大多数情况下,LSTM、卷积类型模型和MLP这几种就足以应对了。不过,若要将这些基于RNN的转换器应用于时间序列,除了扩大数据规模外,还有许多地方需要改进,下面谈几点个人看法。首先,单纯的自回归(auto - regressive)模式不太适宜用于模拟时间序列(time - series)。像Informer这类的Transformer模型,已被证明在这方面不如LSTM(如LSTNet、TPA - LSTM等)、卷积类型的模型以及MLP。Informer的一个重要突破就在于摒弃了解码器(decoder)的自回归生成架构,它的解码器采用的是一次前向(one - forward)过程,将输入嵌入(input embedding)与所有预测的时间点合并起来,一次性输入,然后一次性输出所有的预测结果。之后,Transformer的自回归架构也变得越来越不占优势了。需要注意的是,今年的PatchTST这一作品仅采用了encoder架构,之后连接一个MLP来进行预测,其效果比encoder - decoder架构还要好。这意味着auto - regressive架构在处理时间序列时很可能效果不佳,甚至可能是一种累赘。(也有论文指出是cross - attention无用,但目前缺乏足够的理论依据)要是auto - regressive在学习time - series时存在问题,RNN/LSTM的auto - regressive特性比transformer更为显著,其潜力自然就比不上transformer(因为transformer仅用encoder就行)。就attention模块而言,attention在提取全局信息方面要比RNN/LSTM更出色,所以即便在time - series上,RetNet/RWKV的潜力也应该不及基于attention的transformer。
auto - regressive效果不佳,由此可引出第二个难题,即时间信息存在复杂的依赖关系。经典模型temporal convolutional network (TCN)就是个典型例子,学过信号处理的人都清楚,卷积原本就是用来处理时间信息的。按照卷积法则,卷积相当于在傅里叶频域做乘法,那么在时间序列上进行卷积操作就是让频率相乘,这会使频率放大,所以卷积类型的模型处理时间序列的效果比较好。那么改进transformer的方法就很容易想到了,即利用傅里叶变换在频域计算attention,其效果必然优于时域计算attention,小火的FedFormer便是基于此思路。我们都清楚,多数时候TCN的效果优于LSTM,这表明卷积比自回归更有效。如此一来,用卷积来改进attention,相比将attention替换成RNN或者LSTM,应该更具潜力。
Copyright © 2025 IZhiDa.com All Rights Reserved.
知答 版权所有 粤ICP备2023042255号