做时光序列展望有必要用深度进修吗?事实证明,梯度提升返回树媲美甚至超越多个DNN模型

在深度进修要领应用广泛的今天,所有范畴是不是非它不可呢?其实未必,在时光序列展望任务上,简略的呆板进修要领能够媲美甚至超越很多 DNN 模型。

过去几年,时光序列范畴的经典参数要领(自返回)已经在很大程度上被复杂的深度进修框架(如 DeepGIO 或 LSTNet 等)更新替代。这是因为传统要领可能无法捕获长期和短期序列混合传递的信息,而深度进修要领的思路是掌握数据中的跨时非线性依赖。从结果来看,这些深度进修要领不仅优于 ARIMA 等传统要领和梯度提升返回树(Gradient Boosting Regression Tree, GBRT)等简略呆板进修模型,而且增强了这样一种预期,即呆板进修范畴的时光序列展望模型需要以深度进修工作为基础,才能得到 SOTA 结果。但是,推荐系列范畴的最新启示表明,深度进修要领在呆板进修各种钻研分支取得的成就需要对简略高效模型定期确认和评价,以保持各自钻研范畴进展的真实性。除了时光序列展望模型越来越复杂之外,另一个动机包括文献中正在完善的深度进修模型在处理时光序列展望问题上的片面性,因此限制了现有解决方案要领的多样性。在前段时光的一篇论文《Do We Really Need Deep Learning Models for Time Series Forecasting?》中,来自德国希尔德斯海姆大学计算机科学系的钻研者展示了通过精心摆设的输出处理结构,GBRT 等简略但强大的集成模型在时光序列展望范畴能够媲美甚至超越很多 DNN 模型。

图片

论文地址:https://arxiv.org/pdf/2101.02118.pdf钻研者对特征工程多输出 GBRT 模型进行了评价,并提出了以下两个钻研问题:

对于用于时光序列展望的鉴于窗口的进修框架来说,精心摆设 GBRT 模型的输出和输出结构有什么效果?

一个虽简略但摆设良好的 GBRT 模型与 SOTA 深度进修时光序列展望框架相比如何?

为了回答这两个问题,钻研者选择了双重试验树立,分别解决两类展望任务,即系统化方式中的单变量和多变量展望。目的是评价 GBRT 模型以及在顶会(NeurIPS、KDD、SIGIR、ECML、ICML、CIKM、IJCAI、ICLR 等)中出现的 SOTA 深度进修要领。这项钻研的整体贡献可以总结如下:一,钻研者将一个简略的呆板进修要领 GBRT 提升了竞品 DNN 时光序列展望模型的标准。首先将 GBRT 转换成一个鉴于窗口的返回框架,接着对它的输出和输出结构进行特征工程,如此便能从额外上下文信息中获益最多;二,为了突出输出处理对时光序列展望模型的重要性,钻研者通过实证证明了为什么鉴于窗口的 GBRT 输出树立可以在时光序列展望范畴提高 ARIMA 和原版 GBRT 等精心摆设的模型所产生的展望机能;三,钻研者比较了 GBRT 与各种 SOTA 深度进修时光序列展望模型的机能,并验证了它在单变量和双变量时光序列展望任务中的竞争力。这项钻研也引起了不少人的共鸣。有人认为,时光序列分类任务同样也没有必要用深度进修要领。在一些情况下,SVMs 或逻辑返回要领表现更好,速度也更快。

图片

钻研设计选择基线。钻研者系统地过滤了 2016 年至 2020 年在 NeurIPS、KDD、SIGIR、SDM、ECML、ICML、CIKM、IJCAI、ICLR 等会议表现较好的论文集。论文需满足以下要求:

主题:只考虑时光序列展望范畴的钻研;

数据结构:专用数据类型,但如异步时光序列和概念化为图形的数据被排除在外;

可复现:数据、源代码应公开。如果源代码不可用,但试验树立有清晰的文档,钻研也可以从试验中复制结果;

计算的可行性:钻研中得出的结果能够以易于处理的方式复现,并在合理的时光内可计算。

评价。该钻研在两个层次上对时光序列展望 GBRT 模型进行评价:一个单变量和一个多变量。为了使所选的深度进修基线和 GBRT 之间具有显著的可比性,该钻研在相同的数据集上评价了所有模型,数据集如下表 1 所示:左边提供了关于用来评价模型数据集,而右边则列出了各自的试验规范:

图片

问题公式化。时光序列展望问题,就监督进修而言,时光序列展望可以表述为:给定一个集合图片和一个集合图片,经过一系列假设后,得到如下期望损失最小化模型:图片GBRTGBRT 模型,特别是 XGBoost 实现,其优点是易于应用,而且在结构化数据上特别成功。但是当涉及时光序列展望的初始(naive)实现时,GBRT 模型失去了很大一部分灵活性,因为它们没有被投射到鉴于窗口的返回问题中,而是被摆设为适合大部分时光序列作为完整且连续的数据点序列来展望时光序列的后续和剩余测试部分。与上述初始实现不同,该钻研通过将时光序列重新摆设为窗口输出,并在多个训练实例(窗口)上进行训练,以模拟成功的时光序列展望模型中使用的输出处理行为,为此该钻研定义了一个可调窗口,图片。这种鉴于窗口的 GBRT 模型输出树立如图 1 所示:

图片

第一步是使用变换函数图片将典型的 2D 训练实例(时光序列输出窗口)变换为适合 GBRT 的 1D 形状向量(扁平窗口)。该函数将所有 w 实例的目标值 y_i 连接起来,然后将最后一个时光点实例 t 的协变量向量附加到输出窗口 w 中,表示为 图片。鉴于窗口的 GBRT 输出树立极大地提高了其展望机能,因为 GBRT 模型现在能够掌握数据的底层时光序列结构,并且现在可以被认为是先进 DNN 时光序列展望模型的适当呆板进修基线。另一方面,简略摆设的 GBRT 模型图片是一个简略的逐点返回模型,将时光点 图片的协变量作为输出,展望单一目标值 Y_i、j 为同一时光点训练损失如下:

图片

试验结果单变量时光序列的结果下表 2 总体结果表明,除了 traffic 展望外,鉴于窗口的 GBRT 具有较强的竞争力。另一方面,具有传统摆设的展望模型(例如 ARIMA 和 GBRT(Naive))的表现远远优于预期。

图片

而在 electricity 展望方面,鉴于窗口的 GBRT 在所有模型中均显示出最佳的 RMSE 机能,其在 WAPE 和 MAE 方面的机能仅优于 2016 年推出的 TRMF,鉴于注意力的 DARNN 模型表现较差。关于 exchange rate 任务,LSTNet(以 w = 24 重新实现)和 TMRF 显示出相当强的结果,优于鉴于窗口的 GBRT 基线。在不考虑时光展望器的情况下,traffic 展望的结果是混合的,因此 DARNN 和 LSTNet 实现了 traffic 数据集的最佳结果,而对于 PeMSD7 数据集,鉴于窗口的 GBRT 基线在两个方面优于 DNN 模型三个指标。然而,时光协变量的包含显着提高了 GBRT 的机能(下表 3),因此,对于 traffic 展望,所有 DNN 要领,包括 DeepGlo [18] 和 STGCN(spatio-temporal traffic forecasting model ) [19],其在 PeMSD7 上实现了 6.77 的 RMSE,优于重新摆设的 GBRT 基线。

图片

下表 4 显示了 LSTNet 与 GBRT(W-b) 的结果:

图片

下表 5 中的结果表明 GBRT 的竞争力,但也表明鉴于 transformer 的模型相当强大,例如 TFT 超过了提升返回树机能。然而,作为一个例外,TFT 构成了本钻研中唯一一个始终优于 GBRT 的 DNN 模型,而 DeepAR 和 DeepState 等概率模型在这些单变量数据集上的表现优于其他模型。

图片

多元数据集下表 6 中为 DARNN 与鉴于窗口 GBRT 比较:简略、摆设良好的 GBRT 基线可以超越 DNN 框架。

图片

从下表 7 可以看出,即使是专门为某一展望任务设计的 DNN 模型,也没有达到预期效果。相反,DAQFF 的机能比简略的鉴于窗口、特征工程的梯度提升返回树模型更差。在本试验中,值得注意的是,即使是传统应用展望意义上的 GBRT 模型也能在 air quality 数据集上提供更好的结果。

图片

原创文章,作者:机器之心,如若转载,请注明出处:https://www.iaiol.com/news/zuo-shi-guang-xu-lie-zhan-wang-you-bi-yao-yong-shen-du-jin/

(0)
上一篇 2022年 3月 3日 下午4:34
下一篇 2022年 3月 6日 下午1:11

相关推荐

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注