星空体育官网赶上Transformer周详升级MIT等华人团队宣告通用时序TimeMixer++架构8项职业周详当先超越

发布时间:2024-10-29 16:21:44    浏览:

[返回]

  星空体育官网TimeMixer++是一个更始的年光序列理解模子,通过多标准和多诀别率的方式正在多个做事上超越了现有模子,闪现了年光序列理解的新视角,正在预测和分类等做事带来了更高确实切性和灵动性。

  正在数据驱动的期间,年光序列理解成为了很多范畴中不成或缺的一局部星空体育官网,好比气候预测超越、医学症状分类、航天器的特地检测、以及传感器数据中缺失数据的填充等等星空体育官网,这些应东西体涉及到年光序列预测超越、分类、特地检测、缺失值填充等做事。

  近些年来,包含Transformer架构正在内的一系列做事,固然正在细分做事上浮现卓着的机能,但因为缺乏灵动和通用的时序特质的提取本事,无法成为通用的模子架构。

  为知道决这些题目,来自MIT、港科大、浙大以合格里菲斯大学的华人团队结合推出了一种全新的深度模子架构TimeMixer++,正在长程时序预测、短程时序预测、时序分类、特地检测等8项时序做事上的服从完全超越了Transformer等模子,告终了通用的年光序列修模和操纵。

  TimeMixer++的通用本事得益于其可能提取通用的时序特质,针对分歧做事,模子自适宜地练习了分歧的隐空间表征,浮现出重大的灵动度和有用性。

  论文提出了「时序特质呆板」(Time Series Pattern Machine, TSPM)的观点,行动一个能正在遍实时序做事中出现卓着的模子,必需能提取百般各样的时序特质,以适宜做事的请求。

  年光序列是从络续的实际全国中以分歧标准举行采样取得的(如秒、分钟、幼时),而分歧标准下浮现的周期性是分歧的。该多标准、多周期性的性子,指挥了模子架构的打算。

  TimeMixer++基于时域(多标准)和频域(多频率/周期)的消息,将每一条年光序列转化为多诀别率时序图(Multi-Resolution Time Images),并对每一个时序图正在深度空间中举行解耦和搀杂,最终提取多标准、多周期的特质。

  2. Time Image Decomposition (TID):TID通过横轴和纵轴两个轴向的属意力机造,从每一个时序图中解耦季候-趋向,取得季候图和趋向图。

  3. Multi-Scale Mixing (MCM):MCM担负将分歧标准上的季候图和趋向图分手举行搀杂,鉴于图的体式星空体育官网,论文采用了卷积和反卷积的操作。

  MCM以季候和趋向搀杂为动力,将季候图由细粒度到粗粒度渐渐鸠集,并诈欺较粗标准的先验学问深化开采宏观趋向消息,最终告终过去消息提取中的多标准搀杂。对趋向图,则采用由粗粒度到细粒度的渐渐鸠集。

  为了验证TimeMixer++的机能,作家正在包括长程预测,短程预测,时序分类,特地检测,填充,少样本/零样本预测等8个时序主流做事长举行测试。实行结果评释,TimeMixer++正在多个目标上完全超越了眼前最优秀的Transformer模子,整体出现如下:

  正在长程时序预测中,TimeMixer++正在9/12的目标上超越了近几年的预测模子。

  正在单变量和多变量的短程预测做事中,TimeMixer++全方位超越了近几年的其他模子。

  正在缺失值填充做事中,TimeMixer++同样保留了当先上风,正在险些悉数量标和数据上超越了其他模子。

  正在穷困的分类做事和特地检测做事中,TimeMixer++已经正在悉数模子中博得了最好的成就,击败了诸多专为该做事打算的时序模子。

  正在零样本预测的成立下,TimeMixer++出现博得了第一,阐发提取到通用的时序特质,而并非得益于过拟合。

  通过可视化理解,评释TimeMixer++将年光序列理会为多组季候图和趋向图,可能从时域和频域两个角度,全方位提取时序的特质。分歧标准和频率条款下,季候性和趋向性有明显不同。

  TimeMixer++正在内存占用和锻练年光上出现出高效性,同时保留了有竞赛力的MSE分数。正在气候数据弥补和ETTm1长远预测做事中,相较于其他模子,具备更低的内存占用和较疾的锻练年光,且能有用搜捕长程依赖闭连。

  作家举行了溶解实行验证TimeMixer++架构的合理性。结果评释已有的多组模块打算正在绝大局部数据集上都博得了最优成就超越。

  本文先容了一种全新的深度模子架构TimeMixer++,正在8个年光序列理解做事中完全超越了Transformer等模子,胜利告终了通用的年光序列修模与操纵。TimeMixer++的更始之处正在于将年光序列转化为图像,并正在时域与频域、多标准、多诀别率下举行特质提取,从而提拔了模子的出现。

  TimeMixer++的胜利不只为时序理解范畴带来了新的思绪,也闪现了一种全新的时序认识视角超越。将来,跟着更多优化技艺和操纵场景的引入,自信TimeMixer++将进一步促进时序预测技艺的兴盛,为各行业带来更大的价钱。星空体育官网赶上Transformer周详升级MIT等华人团队宣告通用时序TimeMixer++架构8项职业周详当先超越

搜索