过去几年，时光序列范围的经典参数要领（自返回）已经在很大程度上被复杂的深度进修框架（如 DeepGIO 或 LSTNet 等）更新替代。这是因为传统要领可能无法捕获长期和短期序列混合传递的信息，而深度进修要领的思路是掌握数据中的跨时非线性依赖。从结果来看，这些深度进修要领不仅优于 ARIMA 等传统要领和梯度提升返回树（Gradient Boosting Regression Tree, GBRT）等简略机械进修模型，而且增强了这样一种预期，即机械进修范围的时光序列猜测模型需要以深度进修工作为基础，才能得到 SOTA 结果。
但是，推荐系列范围的最新启示表明，深度进修要领在机械进修各种钻研分支取得的成就需要对简略高效模型定期确认和评价，以保持各自钻研范围进展的真实性。除了时光序列猜测模型越来越复杂之外，另一个动机包括文献中正在完善的深度进修模型在处理时光序列猜测问题上的片面性，因此限制了现有解决方案要领的多样性。
在前段时光的一篇论文《Do We Really Need Deep Learning Models for Time Series Forecasting?》中，来自德国希尔德斯海姆大学计算机科学系的钻研者展示了通过精心设置装备摆设的输出处理结构，GBRT 等简略但强大的集成模型在时光序列猜测范围能够媲美甚至超越很多 DNN 模型。
论文地址：https://arxiv.org/pdf/2101.02118.pdf
钻研者对特征工程多输出 GBRT 模型进行了评价，并提出了以下两个钻研问题：
对于用于时光序列猜测的鉴于窗口的进修框架来说，精心设置装备摆设 GBRT 模型的输出和输出结构有什么效果？
一个虽简略但设置装备摆设良好的 GBRT 模型与 SOTA 深度进修时光序列猜测框架相比如何？
为了回答这两个问题，钻研者选择了双重尝试树立，分别解决两类猜测任务，即系统化方式中的单变量和多变量猜测。目的是评价 GBRT 模型以及在顶会（NeurIPS、KDD、SIGIR、ECML、ICML、CIKM、IJCAI、ICLR 等）中出现的 SOTA 深度进修要领。这项钻研的整体贡献可以总结如下：
一，钻研者将一个简略的机械进修要领 GBRT 提升了竞品 DNN 时光序列猜测模型的标准。首先将 GBRT 转换成一个鉴于窗口的返回框架，接着对它的输出和输出结构进行特征工程，如此便能从额外上下文信息中获益最多；
二，为了突出输出处理对时光序列猜测模型的重要性，钻研者通过实证证明了为什么鉴于窗口的 GBRT 输出树立可以在时光序列猜测范围提高 ARIMA 和原版 GBRT 等精心设置装备摆设的模型所产生的猜测功能；
三，钻研者比较了 GBRT 与各种 SOTA 深度进修时光序列猜测模型的功能，并验证了它在单变量和双变量时光序列猜测任务中的竞争力。
这项钻研也引起了不少人的共鸣。有人认为，时光序列分类任务同样也没有必要用深度进修要领。在一些情况下，SVMs 或逻辑返回要领表现更好，速度也更快。
钻研设计
选择基线。钻研者系统地过滤了 2016 年至 2020 年在 NeurIPS、KDD、SIGIR、SDM、ECML、ICML、CIKM、IJCAI、ICLR 等会议表现较好的论文集。论文需满足以下要求：
主题：只考虑时光序列猜测范围的钻研；
数据结构：专用数据类型，但如异步时光序列和概念化为图形的数据被排除在外；
可复现：数据、源代码应公开。如果源代码不可用，但尝试树立有清晰的文档，钻研也可以从尝试中复制结果；
计算的可行性：钻研中得出的结果能够以易于处理的方式复现，并在合理的时光内可计算。
评价。该钻研在两个层次上对时光序列猜测 GBRT 模型进行评价：一个单变量和一个多变量。为了使所选的深度进修基线和 GBRT 之间具有显著的可比性，该钻研在相同的数据集上评价了所有模型，数据集如下表 1 所示：左边提供了关于用来评价模型数据集，而右边则列出了各自的尝试规范：
问题公式化。时光序列猜测问题，就监督进修而言，时光序列猜测可以表述为：给定一个集合
和一个集合
，经过一系列假设后，得到如下期望损失最小化模型：
GBRT
GBRT 模型，特别是 XGBoost 实现，其优点是易于应用，而且在结构化数据上特别成功。但是当涉及时光序列猜测的初始（naive）实现时，GBRT 模型失去了很大一部分灵活性，因为它们没有被投射到鉴于窗口的返回问题中，而是被设置装备摆设为适合大部分时光序列作为完整且连续的数据点序列来猜测时光序列的后续和剩余测试部分。
与上述初始实现不同，该钻研通过将时光序列重新设置装备摆设为窗口输出，并在多个训练实例（窗口）上进行训练，以模拟成功的时光序列猜测模型中使用的输出处理行为，为此该钻研定义了一个可调窗口，
。这种鉴于窗口的 GBRT 模型输出树立如图 1 所示：
第一步是使用变换函数
将典型的 2D 训练实例（时光序列输出窗口）变换为适合 GBRT 的 1D 形状向量（扁平窗口）。该函数将所有 w 实例的目标值 y_i 连接起来，然后将最后一个时光点实例 t 的协变量向量附加到输出窗口 w 中，表示为 
。
鉴于窗口的 GBRT 输出树立极大地提高了其猜测功能，因为 GBRT 模型现在能够掌握数据的底层时光序列结构，并且现在可以被认为是先进 DNN 时光序列猜测模型的适当机械进修基线。另一方面，简略设置装备摆设的 GBRT 模型
是一个简略的逐点返回模型，将时光点 
的协变量作为输出，猜测单一目标值 Y_i、j 为同一时光点训练损失如下：
尝试结果
单变量时光序列的结果
下表 2 总体结果表明，除了 traffic 猜测外，鉴于窗口的 GBRT 具有较强的竞争力。另一方面，具有传统设置装备摆设的猜测模型（例如 ARIMA 和 GBRT（Naive））的表现远远优于预期。
而在 electricity 猜测方面，鉴于窗口的 GBRT 在所有模型中均显示出最佳的 RMSE 功能，其在 WAPE 和 MAE 方面的功能仅优于 2016 年推出的 TRMF，鉴于注意力的 DARNN 模型表现较差。关于 exchange rate 任务，LSTNet（以 w = 24 重新实现）和 TMRF 显示出相当强的结果，优于鉴于窗口的 GBRT 基线。
在不考虑时光猜测器的情况下，traffic 猜测的结果是混合的，因此 DARNN 和 LSTNet 实现了 traffic 数据集的最佳结果，而对于 PeMSD7 数据集，鉴于窗口的 GBRT 基线在两个方面优于 DNN 模型三个指标。然而，时光协变量的包含显着提高了 GBRT 的功能（下表 3），因此，对于 traffic 猜测，所有 DNN 要领，包括 DeepGlo [18] 和 STGCN（spatio-temporal traffic forecasting model ） [19]，其在 PeMSD7 上实现了 6.77 的 RMSE，优于重新设置装备摆设的 GBRT 基线。
下表 4 显示了 LSTNet 与 GBRT(W-b) 的结果：
下表 5 中的结果表明 GBRT 的竞争力，但也表明鉴于 transformer 的模型相当强大，例如 TFT 超过了提升返回树功能。然而，作为一个例外，TFT 构成了本钻研中唯一一个始终优于 GBRT 的 DNN 模型，而 DeepAR 和 DeepState 等概率模型在这些单变量数据集上的表现优于其他模型。
多元数据集
下表 6 中为 DARNN 与鉴于窗口 GBRT 比较：简略、设置装备摆设良好的 GBRT 基线可以超越 DNN 框架。
从下表 7 可以看出，即使是专门为某一猜测任务设计的 DNN 模型，也没有达到预期效果。相反，DAQFF 的功能比简略的鉴于窗口、特征工程的梯度提升返回树模型更差。在本尝试中，值得注意的是，即使是传统应用猜测意义上的 GBRT 模型也能在 air quality 数据集上提供更好的结果。
