iTransformer - AI在线

重新审视Transformer：倒置更有效，真实世界预测的新SOTA出现了

反转 Transformer，变成 iTransformer。Transformer 在时间序列预测中出现了强大能力，可以描述成对依赖关系和提取序列中的多层次表示。然而，研究人员也质疑过基于 Transformer 的预测器的有效性。这种预测器通常将相同时间戳的多个变量嵌入到不可区分的通道中，并对这些时间 token 进行关注，以捕捉时间依赖性。考虑到时间点之间的数字关系而非语义关系，研究人员发现，可追溯到统计预测器的简单线性层在性能和效率上都超过了复杂的 Transformer。同时，确保变量的独立性和利用互信息