时间序列预测能否进一步发展？

我认为时序模型的研究大体上历经了如下三个阶段，并且每个阶段都存在着人们重点关注且想要解决的热点问题。（1）在2021 - 2022年，重点在于如何把序列模型应用到时序数据当中。在这个初始阶段，人们都在努力探索如何将诸如Transformer、RNN这类经典的序列模型结构融入到时序建模这项特定的任务之中。这一时期具有代表性的工作成果包括Informer、Autoformer、FEDformer、Non - stationary Transformer等。经历了这个阶段之后，人们总结出的实用技巧有分解建模（如Autoformer所采用的）以及窗口归一化（像Revin、Non - stationary Transformer那样）。（2）2023年的重点则是如何实现时序的令牌化（Tokenization）。在第一阶段的时候，人们输入到时序模型中的还只是离散的点。然而，从深度学习构建令牌（Token）的角度来讲，单个时刻所包含的信息量实在是太少了。所以就有必要将表征增强为Patch（也就是一段序列），这样后续的建模才会更加可靠。这一阶段比较有代表性的工作有PatchTST、Crossformer、iTransformer等。经过这一阶段之后，人们总结出的实用技巧包括PatchEmbedding（PatchTST、Crossformer所采用的）以及VariateEmbedding（iTransformer所采用的）。（3）2023 - 2024年则是多任务、多模态建模阶段。当第一和第二阶段所积累的训练技巧逐渐趋于完备之时（需要注意的是，这并不是说人们的贡献仅仅是一个训练技巧，让一个深度模型能够很好地在时序数据上进行训练其实是非常重要的进展），人们开始想要去做一些更加多样化的任务。这一阶段具有代表性的工作成果有TimesNet、Timer、Time - LLM等。在这个阶段，人们所讨论的热点问题有大语言模型与时序模型之间的关系以及是否存在时序基础模型等。从纯技术的角度来看，具体的问题还包括用于建模的大模型应该是单变量的还是多变量的以及是否应该将大语言模型作为时序模型的主干等。综上所述，我觉得提问者所提出的这个问题主要是针对第一和第二这两个发展阶段的。从这个角度来讲，如果问是否有新的技巧出现，的确这两年新技巧出现得很少了，很多在标准基准（benchmark）上的效果提升可能是源于调参或者实验方差。但是如果从第三阶段的角度来看，我认为时序领域仍然处于百家争鸣的状态，很难确定哪一种技术路线是正确的。