AI在线 AI在线

iTransformer

重新审视Transformer：倒置更有效，真实世界预测的新SOTA出现了

重新审视Transformer：倒置更有效，真实世界预测的新SOTA出现了
反转 Transformer，变成 iTransformer。Transformer 在时间序列预测中出现了强大能力，可以描述成对依赖关系和提取序列中的多层次表示。然而，研究人员也质疑过基于 Transformer 的预测器的有效性。这种预测器通常将相同时间戳的多个变量嵌入到不可区分的通道中，并对这些时间 token 进行关注，以捕捉时间依赖性。考虑到时间点之间的数字关系而非语义关系，研究人员发现，可追溯到统计预测器的简单线性层在性能和效率上都超过了复杂的 Transformer。同时，确保变量的独立性和利用互信息
11/6/2023 11:39:00 AM
机器之心
  • 1