所以用引号表示。这项工作非常出色,若实验结果没有过多挑选,其效果在大模型大数据下能与Transformer的顶尖水平相当甚至超越,这将是一项媲美甚至超越ResNet的研究。尽管吃瓜群众认为实验还不够充分,比如没直接与Llama正面对比,但RetNet在高效序列建模的研究中,确实是当前实验设计最完善、结果最优的大型语言模型相关工作之一(此评价基于个人知识范围,可能存在偏差)。首先,多数高效序列建模研究并未扩展到pile规模的数据集和7B参数量的模型。缺乏如此大规模的实验验证,很难让人信服新架构能在效果上替代transformer,而retnet做到了这一点。其次,许多高效的序列建模研究并未在自回归语言建模任务中明确报告每秒可生成的词数。特别是对于线性变换器(linear transformer),在已有研究指出多数线性变换器可以转化为循环神经网络(RNN)的情况下,若不展示每个 token 的 O(1) 推理速度,以及无需 key/value 缓存的优势(基于长卷积的方法不具备这一特性),很难让人信服新架构在推理速度上确实优于传统变换器(transformer)。然而,RetNet 在这方面表现突出。尽管没有具体说明对比的 transformer 是否采用了 Flash Attention,但 RetNet 的性能已非常优秀,展现出显著的推理效率提升。这种特性使其在处理长序列时更具竞争力,同时也为高效语言建模提供了新的可能性。RWKV虽然能在序列长度L上实现并行或分块并行,但由于包含大量逐元素运算,即使采用parallel/chunk方式,计算密集度依然较低。虽然能借助GPU的并行优势,但因受内存带宽限制且非矩阵乘法运算为主,实际FLOPS利用率难以提升。即使采用将扫描操作转化为矩阵乘法(scan as matmul)的方式,先构建下三角矩阵再进行乘法运算,但由于数据依赖性强,且衰减的粒度非常精细,因此需要针对每个序列、每个通道分别生成一个下三角矩阵。这种生成过程依然受内存带宽限制,无法充分发挥现代GPU中矩阵计算单元的高效性能。因此,若将状态扩展至百万维度,如RetNet那样,RWKV的吞吐表现会大打折扣。反之,若不扩充状态维度,虽然token混合效率较低,但不会成为性能瓶颈,却可能对效果产生一定影响。
或许有人会提到,RetNet确实是基于2006.16236论文(Transformers are RNNs)的发现构建的,该论文指出线性变换器能以外部累加的方式重写为循环神经网络。如同2102.11174(Linear transformers are FWPs)中所做的,去掉qk归一化,将原本的o=Sq/zq简化为o=Sq,其中S表示kv前缀和,z表示k前缀和。这种调整优化了计算过程。补偿方式与2210.10340(TransNormer)相同,都是对输出o进行归一化处理(而FWP的补偿方式是对q做归一化)。是否添加一个类似于2108.12409(ALiBi)的每头固定衰减?此外,还有通过对角化引入的熟悉的老朋友——乘性Q/K位置编码(RoPE)。按这种说法,ResNet、Transformer似乎也能拼凑出来。反而一些复杂至极但毫无影响的工作无法实现。RetNet 6.7B 中 RNN 状态 S 的维度为 512×4096,高达二百多万,这在以往研究中或许未曾出现。无论是否涉及 gated 或 decay 机制,之前的工作中头部维度通常不大。此模型的维度规模可谓突破性进展。固定衰减是一种巧妙的设计,由于衰减无需梯度,可实现显存为O(1)的反向传播,这种方法与2006.16236类似:由于不影响未来,计算q的梯度时,只需重算forward,将o=Sq替换为g_q=S^Tg_o即可。k和v对未来的输出有影响,但其梯度与状态S无关。只需逆序遍历序列,在前向传播中将S=γS+kv^T替换为G=γG+g_oq^T(此处转置可能存在误差,未验证)。通过计算从未来传递回来的梯度G,再根据G求解k和v的梯度即可。前向传播时状态值按衰减因子更新,反向传播时梯度也按衰减因子更新,因此不会出现梯度爆炸问题。前向与后向的关系,类似于强化学习中回报与资格迹的关联。由于backward与forward结构相似,因此forward的parallel和chunk方法同样适用于backward。表4中Transformer的显存数据可能上下颠倒,为何模型越大,显存开销反而越小?
Copyright © 2025 IZhiDa.com All Rights Reserved.
知答 版权所有 粤ICP备2023042255号