多变量时间序列表示学习-对比算法

1-6 代码复现

1. A transformer-based framework for multivariate time series representation learning (TST SIGKDD’21)

本文提出了一个基于 Transformer 编码器架构的多变量时间序列表示学习的新框架。该框架包括一个无监督的预训练方案，与下游任务的完全监督学习相比，它可以提供显着的性能优势，无论是否利用额外的未标记数据，即通过重用现有数据样本。在来自不同领域和具有不同特征的几个公共多变量时间序列数据集上评估，我们证明它的性能明显优于目前可用的最佳回归和分类方法，即使对于仅包含几百个训练样本的数据集也是如此。鉴于科学和工业中几乎所有领域对无监督学习的显着兴趣，这些发现代表了一个重要的里程碑，它展示了第一个无监督方法，可以突破多变量时间序列回归和分类。

代码链接：https://github.com/gzerveas/mvts_transformer

在预处理阶段，TST采用MSE作为损失函数对模型进行训练。TST可以作为我们的对比算法，下游任务可以改为聚类，数据集使用的是同样的UEA数据集。对比侧重点：模型结构

2. Unsupervised representation learning for time series with temporal neighborhood coding (TNC ICLR’21)

时间序列通常复杂且信息丰富，但标签稀疏，因此难以建模。在本文中，我们提出了一种自我监督框架，用于学习非平稳时间序列的可泛化表示。我们的方法称为时间邻域编码 (TNC)，它利用信号生成过程的局部平滑性来及时定义具有固定属性的邻域。使用去偏对比目标，我们的框架通过确保在编码空间中，来自邻域内的信号分布与非邻域信号的分布是可区分的来学习时间序列表示。我们的动机源于医学领域，在医学领域，对时间序列数据的动态性质进行建模的能力对于在几乎不可能标记数据的环境中识别、跟踪和预测潜在患者的潜在状态特别有价值。我们将我们的方法与最近开发的无监督表示学习方法进行比较，并展示了在多个数据集的聚类和分类任务上的卓越性能。

代码链接：https://github.com/sanatonek/TNC_representation_learning

TNC在训练时，可以无监督训练模型。损失函数是修改后的Triplet Loss。对比侧重点：正负样本采样策略

3. Time-Series Representation Learning via Temporal and Contextual Contrasting (TS-TCC IJCAI’21)

从具有时间动态的未标记时间序列数据中学习体面的表示是一项非常具有挑战性的任务。在本文中，我们提出了一种通过时间和上下文对比 (TS-TCC) 的无监督时间序列表示学习框架，以从未标记的数据中学习时间序列表示。首先，通过使用弱增强和强增强将原始时间序列数据转换为两个不同但相关的视图。其次，我们提出了一种新的时间对比模块，通过设计一个艰难的跨视图预测任务来学习鲁棒的时间表示。最后，为了进一步学习判别表示，我们提出了一个基于时间对比模块的上下文的上下文对比模块。它试图最大化同一样本的不同上下文之间的相似性，同时最小化不同样本的上下文之间的相似性。已经在三个真实世界的时间序列数据集上进行了实验。结果表明，在我们提出的 TS-TCC 学习的特征之上训练线性分类器的性能与监督训练相当。此外，我们提出的 TS-TCC 在少标记数据和迁移学习场景中显示出高效率。

代码链接：https://github.com/emadeldeen24/TS-TCC

Transformer + 对比学习。对比侧重点：模型结构 + 数据增强采样策略 + 损失函数

4. ReTriM: Reconstructive Triplet Loss for Learning Reduced Embeddings for Multi-Variate Time Series (ReTriM ICDMW’21)

传感器网络的进步已经允许捕获分布在多个传感器上的复杂模式（随着时间的推移），从而生成多变量时间序列 (MVTS)。现实世界的时间序列通常不会以最适合分类等分析任务的形式表示。 AutoEncoders (AEs) 是一种无监督机制，在学习低维嵌入方面显示出了希望，因此，类关联在学习的嵌入中变得难以处理。对比学习 (CL) 表明，人们可以学习基于距离的类感知嵌入，如果它们属于同一类，则可以最大化嵌入之间的距离，如果它们不属于同一类，则可以最小化距离。这导致表示是有损的，即来自输入的一些信息丢失了。基于这些观察，本文提出了 ReTriM 框架，用于将多变量时间序列映射到向量化嵌入。 ReTriM 观察到，当使用一种推动两者的混合策略进行学习时，可以学习一种独立于分类器模型的通用嵌入，保留来自原始输入的信息并在类之间进行分离。如实验评估所示，对于 10 个基准多变量时间序列，ReTriM 可以优于仅使用 CL 和 AE 对各种分类器（例如 MLP、One-Shot Classifier、SVM、KNN1、随机森林和 Logistic 回归）学习的嵌入数据集。

代码链接：无

虽然下游任务是分类，但是模型在训练过程中是无监督的。对比侧重点：模型结构 + 正负样本采样策略 + 损失函数

5. TS2Vec: Towards universal representation of time series (TS2Vec AAAI’22)

本文介绍了 TS2Vec，这是一个用于在任意语义级别学习时间序列表示的通用框架。与现有方法不同，TS2Vec 以分层方式在增强的上下文视图上执行对比学习，从而为每个时间戳提供强大的上下文表示。此外，为了获得时间序列中任意子序列的表示，我们可以对相应时间戳的表示进行简单的聚合。我们对时间序列分类任务进行了广泛的实验，以评估时间序列表示的质量。因此，TS2Vec 在 125 个 UCR 数据集和 29 个 UEA 数据集上实现了对无监督时间序列表示的现有 SOTA 的显着改进。学习到的时间戳级表示在时间序列预测和异常检测任务中也取得了优异的成绩。在学习表示之上训练的线性回归优于之前的时间序列预测 SOTA。此外，我们提出了一种将学习表示应用于无监督异常检测的简单方法，该方法在文献中建立了 SOTA 结果。

代码链接：https://github.com/yuezhihan/ts2vec

TCN改进 + 对比学习。对比侧重点：模型结构 + 数据增强采样策略 + 损失函数

6. Time Series Representation Learning with Contrastive Triplet Selection (TS-CTS CODS-COMAD’22)

表征学习凭借其在视觉和文本模式中的吸引力和优势，已经扩展到数字时间序列。最近的工作提出了一种基于随机三元组采样的三元组损失公式，以导出时间序列的固定长度嵌入。然而，与图像和文本不同的是，统计和距离测量可以很容易地从数值时间序列数据中计算出来，以定量对比差异或基于相似性的聚类。本文通过对比识别方法研究三元组挖掘问题，在原始信号空间以及嵌入向量空间中选择锚点、正样本和负样本。然后通过因果时间神经网络学习选定的三元组，以最小化锚点到正例的距离并最大化其到负例的距离。实验结果以及消融研究比较了这些方法在分类准确度和方差方面的测量结果，证明了随机三元组选择的显着改进。我们还调查并报告了采样避免标签污染时的性能改进，展示了所提出算法的优势。

代码链接：已实现

TCN + 对比学习。对比侧重点：数据增强采样策略 + 损失函数

7. Unsupervised Time-Series Representation Learning with Iterative Bilinear Temporal-Spectral Fusion (BTSF ICML’22)

无监督/自监督时间序列表示学习是一个具有挑战性的问题，因为它具有复杂的动力学和稀疏的注释。现有的工作主要采用对比学习的框架和基于时间的增强技术对正负样本进行对比训练。然而，他们大多使用从时间切片派生的分段级增强，这可能会由于全局上下文的丢失而导致采样偏差和错误的优化以及假阴性。此外，他们都没有注意将光谱信息纳入特征表示。在本文中，我们提出了一个统一的框架，即双线性时谱融合（BTSF）。具体来说，我们首先在整个时间序列上使用带有简单 dropout 的实例级增强，以最大限度地捕获长期依赖关系。我们设计了一种新颖的迭代双线性时谱融合来显式编码丰富的时频对的亲和性，并使用频谱到时间（S2T）和时间到频谱以融合和压缩的方式迭代地细化表示。 T2S) 聚合模块。我们首先对时间序列的三大任务进行下游评估，包括分类、预测和异常检测。实验结果表明，我们的 BTSF 始终显着优于最先进的方法。

TCN改进 + 对比学习。对比侧重点：模型结构 + 数据增强采样策略 + 损失函数

其他参考算法

R1. An Attention-Based ConvLSTM Autoencoder with Dynamic Thresholding for Unsupervised Anomaly Detection in Multivariate Time Series (Machine Learning & Knowledge Extraction 2022)

在本文中，我们提出了 ACLAE-DT 框架，这是一种无监督的基于注意力的 ConvLSTM 自动编码器，具有动态阈值检测异常并识别制造过程多变量时间序列中异常的根本原因。 ACLAE-DT 是一种基于深度学习的框架，能够捕获多元时间序列数据中不同时间步长的时间和上下文依赖性，同时对噪声具有鲁棒性。 该框架首先通过最小-最大缩放对输入数据进行归一化，以将值缩放到固定范围。 预处理后，然后使用滑动窗口丰富数据，以便能够通过滞后值捕获更多时间行为，然后通过嵌入层合并上下文制造过程数据以捕获上下文信息。 之后，ACLAE-DT 基于处理和丰富的数据构建特征图像，这些图像是滑动窗口段内一对时间序列之间的内积矩阵。 特征图像通过捕获不同时间步长的两个时间序列之间的形状相似性和相互关联来表征不同时间步长的系统状态，同时对噪声具有鲁棒性。 随后，使用基于注意力的 ConvLSTM 自动编码器对构造的特征图像进行编码并捕获时间行为，然后解码压缩的知识表示以重建特征图像输入。 数据中存在的结构被学习并因此在强制输入通过自动编码器的瓶颈时加以利用。 随着输入时间序列序列的增加，注意力被添加到自动编码器以维持恒定的性能，从而减少模型错误。 此外，通过随机搜索优化了几个超参数，以提高模型的性能。 然后针对计算出的重建误差使用动态阈值机制来检测和诊断异常，其中阈值根据重建正常数据误差的统计推导动态更新。 直觉是，如果 ACLAE-DT 以前从未观察到类似的系统状态，将无法很好地重建特征图像，导致异常过程在超过计算阈值时被标记。 ACLAE-DT 经过了严格的实证分析，结果证明了所提出的方法优于最先进的方法。

本文介绍的工作能够捕获制造过程中多元时间序列数据中不同时间步长的时间和上下文依赖性，以检测异常并识别异常的根本原因。 本文的主要贡献包括：

• 一个新颖的框架，包括预处理和丰富多变量时间序列、构建特征图像，以及基于注意力的 ConvLSTM 网络自动编码器来重建特征图像输入。 此外，该框架包含一个动态阈值机制，用于检测异常并识别多变量时间序列中异常的根本原因。
• 一个通用的、无监督的学习框架，它利用最先进的 DL 算法，可应用于 SM 中的各种不同的多变量时间序列用例。
• 基于注意力、时间分布的 ConvLSTM 编码器-解码器模型，能够随着来自制造操作的输入时间序列序列速率的增加而保持稳定的性能。
• 一种非参数和动态阈值机制，用于评估重建误差，解决数据中的非平稳性、噪声和多样性问题。
• 一个在现实生活中的公共制造数据集上进行评估的稳健框架，其中的结果证明了其在各种实验设置下优于最先进方法的性能优势。

R2. Deep Variational Graph Convolutional Recurrent Network for Multivariate Time Series Anomaly Detection (ICML 2022)

保留现有概率模型在捕获 MTS 内的非确定性动态方面的优势，同时放宽它们无法在生成过程中对非确定性关系信息进行建模的约束，我们提出了一种新颖的深度变分图卷积循环网络 (DVGCRN)，它包括： 一个开发的深度嵌入引导概率生成网络（DEPN）来模拟 MTS 中的分层非确定性相互关系，堆叠图卷积循环网络（SGCRN）来模拟多级时间依赖性，以及高斯分布通道嵌入来表征不同的相似性和随机性 channels，如图6所示。为了进行有效的推理，首先，我们构建了一种向上向下的自动编码推理方法。 它结合了自下而上的似然和参数的自上而下的先验信息来进行准确的后验推理。 然后，我们引入了一个联合优化目标，它结合了 SGCRN 的基于预测的损失和 DEPN 的基于重建的损失，以确保更好的时间序列表示学习。

我们的贡献可以总结如下：

• 我们提出VGCRN，一种由开发的EPN 和GCRN 组成的新型随机模型，用于MTS 的稳健异常检测。 它能够发现 MTS 中的非确定性时间依赖性和通道关系。
• 为了探索分层潜在表示和长期时间依赖性，并揭示MTS 的多层次相互关系，我们将VGCRN 扩展到称为DVGCRN 的深度随机模型。
• 我们通过引入联合优化目标，开发了一种用于准确推理并整合基于预测和基于重建的模型的优势的向上向下推理方案。
• 在现实世界和公共数据集上的实验结果证实了 DVGCRN 与当前最先进技术相比的优越性。

R3. End-to-end deep representation learning for time series clustering: a comparative study (Data Mining and Knowledge Discovery 2022)

时间序列在数据挖掘应用程序中无处不在。 与其他类型的数据类似，注释可能难以获取，因此无法训练时间序列分类模型。 在这种情况下，聚类方法可能是一种合适的替代方法，因为它们可以创建同质组，从而可以更好地分析数据结构。 时间序列聚类已经研究了很多年，并且已经提出了多种方法。 随着计算机视觉中深度学习的出现，研究人员最近开始研究使用深度聚类对时间序列数据进行聚类。 现有方法主要依赖表示学习（从计算机视觉中引入），包括学习数据的表示并使用该新表示执行聚类任务。 本文的目的是对现有关于深度聚类的时间序列表示学习的文献进行仔细研究和实验比较。 在本文中，我们超越了现有方法的单一比较，并提出将深度聚类方法分解为三个主要组成部分：(1) 网络架构，(2) 借口损失，和 (3) 聚类损失。 我们评估了这些组件的所有组合（总共 300 个不同的模型），目的是研究它们对聚类性能的相对影响。 我们还通过实验将我们确定的最有效组合与现有的非深度聚类方法进行了比较。 使用由 128 个单变量和 30 个多变量数据集组成的最大时间序列数据集存储库（UCR/UEA 存档）进行实验。 最后，我们提出了将类激活映射方法扩展到无监督情况，它允许识别模式，提供关于网络如何对时间序列进行聚类的亮点。

R4. Exploring unsupervised multivariate time series representation learning for chronic disease diagnosis (International Journal of Data Science and Analytics 2021)

考虑到上述局限性，本文提出了一种有效的慢性病诊断框架，该框架由无监督学习模块和不确定性感知监督学习模块组成。 更具体地说，在无监督表示学习模块中，利用对比学习机制来捕获纵向特征内相关，同时使用 GNN 对高阶多变量的内相关进行建模，该 GNN 被选为时间跨度编码器，并且加上对比学习机制。 然后，将学习到的表征发送到全连接神经网络进行监督学习。 请注意，由于无监督学习模块旨在捕获尽可能多的信息信号，因此可以使用任何轻量级分类器。 此外，利用证据理论来形成置信度校准和不确定性感知分类器。 最后，基于两个公开的帕金森病数据集验证了所提算法模型的有效性。

我们的贡献可以总结如下：

• 我们提出了一种不确定性感知慢性病诊断框架，该框架首先通过图神经网络和无监督学习范式从多变量时间序列数据中提取信息信号。
• 我们是第一个利用时间对比学习框架和图形神经网络编码器来模拟隐藏在临床纵向数据中的复杂多级相关性。
• 两个公共慢性病分类数据集的实验结果表明，通过无监督学习模块获得的患者表征具有优越的性能。 并且，不确定性量化确实有助于提高模型的稳健性和可靠性。

R5. Expressing Multivariate Time Series as Graphs with Time Series Attention Transformer (Arxiv 2022)

在本文中，我们提出了用于多元时间序列表示学习和预测的时间序列注意转换器 (TSAT)。 首先，我们将序列内和序列间的相关性抽象为拓扑图，即动态图，因为时间信息是编码的，图结构不是静态的。 因此，可以直观地应用 GNN 来学习动态图的表示。 其次，我们尝试通过使用序列间相关性和动态图结构增强自注意力机制来将 Transformer 与 GNN 集成。 本文的主要贡献包括：

• 提出边缘增强动态图的概念，从而更好地表示多元时间序列和特征工程。
• 通过在一层中聚合节点特征、边特征和图结构来修改将时间序列预测问题转化为图嵌入的自我注意机制。 存在消融研究以证明该设计的有效性。
• 在现实世界和基准数据集上提供广泛的实验，以展示优于最先进方法的卓越性能。

R6. MST-GNN: A Multi-scale Temporal-Enhanced Graph Neural Network for Anomaly Detection in Multivariate Time Series (APWeb-WAIM 2023)

在本文中，我们提出了一种新颖的多尺度时间增强图神经网络（MST-GNN）来检测多元时间序列中的异常。 具体来说，MSTGNN 利用 shapelet 学习来提取基于完整历史数据与其他传感器有区别的空间特征。 引入递归跳跃神经网络来提取具有时间结构辨别的时间特征，用于增强单个传感器的时间特征。 随后，融合两个时空特征和原始数据以形成多尺度时间增强表示。 然后在增强表示中添加可学习的嵌入，用于计算传感器之间的依赖程度，并根据关系创建传感器图。 此外，最终的图表示是基于图注意力网络获得的。 最后，通过评估偏差进行异常检测。 主要贡献总结如下：

• 提出了一种多变量时间序列的多尺度时间增强表示，它提取了时间序列的时空表示，并保留了时间序列的原始特征。
• 提出了一种改进的多尺度时间增强表示图偏差网络，以多尺度时间增强表示作为先验知识，指导图的构建和图注意力的计算，从而得到最终的 传感器表示。
• 进行了大量实验，表明我们的模型在异常检测方面优于最先进的方法，尤其是在异常召回能力方面。

R7. Multivariate time series forecasting via attention-based encoder–decoder framework (Neurocomputing 2022)

针对以上两个问题，首次提出了一种基于 Bi-LSTM 的具有注意力机制的编码器-解码器，旨在达到自适应学习多元时间序列数据隐式时间依赖特征的目的。 本文的贡献包括以下几个方面：

• 首先，我们提出了一种新的基于时间注意力的编码器-解码器模型，并将其应用于多变量时间序列多步预测任务。 带有注意机制的 Bi-LSTM 用于将多元时间序列数据的隐藏表示编码为时间上下文向量，另一个 LSTM 用于解码隐藏表示以进行预测。 通过这个端到端的过程，可以从原始的多变量时间序列数据中学习到隐藏的长期相关特征和非线性相关特征。
• 其次，我们在编码器网络和解码器网络之间引入时间注意机制，可以更准确地选择所有时间步长的相关编码器隐藏状态进行多步预测，从而提高我们的模型对动态多变量时间的表示能力 系列数据。
• 最后，我们通过在五个实际的多变量时间序列数据集上进行测试来证明我们的模型的有效性，实验结果表明，与基线方法相比，我们的模型具有最好的预测性能。

R8. Multivariate Time Series Representation Learning via Hierarchical Correlation Pooling Boosted Graph Neural Network (TAI 2020)

为了充分利用传感器之间的相关性，我们提出了一种分层相关池化增强图神经网络 (HierCorrPool)。 我们将局部相关性视为功能单元。 直观地说，我们应该首先利用传感器的局部相互关系，然后在分析 MTS 数据时利用整体相关性，如图 1（b.1）所示。 为了分析局部相关性，我们逐层学习和捕获传感器之间的层次相关性。 通过捕获本地信息，我们能够学习更好的表示。 为了获得良好的性能，有必要学习体面的层次相关性。 传统上，图池化方法，如 DiffPool [21]，被提出来通过考虑节点特征来处理二进制图和学习层次图。 然而，MTS 数据会导出一个加权图而不是二值图，因此传统的图池化方法在 MTS 相关领域可能表现不佳。 为了解决这个问题，我们提出了一种新的相关池化方案来学习传感器之间的层次相关性。 具体来说，为了将加权传感器相关性纳入学习层次相关性，我们建议通过自适应地结合来自传感器相关性和特征的信息来学习新的分配矩阵，然后将其用于学习精确的层次相关性。 此外，我们设计并学习了顺序图来表示 MTS 数据中的动态传感器相关性。 为此，我们首先将 MTS 样本划分为多个特征窗口，顺序特征窗口显示时间依赖性。 然后，我们采用 CNN 来捕获时间依赖性。 使用学习的窗口，我们构建了表示动态传感器相关性的顺序图，然后可以分别通过我们的相关模块和 GNN 来学习和捕获层次相关性。 通过这种方式，可以利用动态传感器相关性来学习 MTS 数据的适当表示。

我们的贡献可以总结如下：

• 为了确保有效学习和捕获传感器之间的层次相关性，提出了一种新颖的相关性池化方案。 具体来说，通过自适应地结合来自传感器相关性和特征的信息来设计新的分配矩阵。
• 为了表示MTS 数据中的动态传感器相关性，设计并学习了顺序图。 然后，利用顺序图中的层次相关性来学习 MTS 数据的代表性特征。
• 为了评估我们方法的有效性，我们对不同的MTS 任务进行了广泛的实验。 结果表明，我们的方法在各种 MTS 任务上优于最先进的方法。

R9. TAMP-S2GCNets: coupling time-aware multipersistence knowledge representation with spatio-supra graph convolutional networks for time-series forecasting (ICLR 2019)

我们在弥合两个新兴方向的道路上迈出了第一步，即时间感知 DL 与复杂动态现象的时间条件 MP 表示。 通过时间条件 MP 表示，我们指的是随着时间的推移表现出来的数据的最显着拓扑属性。 为了总结这种时间条件的拓扑特性，我们首先引入动态欧拉-庞加莱曲面作为新的 MP 总结。 然后，我们提出了一个有向多层超图抽象来表示一系列时变对象，并开发了一个超图卷积模块，它允许我们同时学习共同进化的内部和相互依赖性（即空间和时间相关性） 复杂的高维数据。

本文的主要创新点总结如下：

• 这是第一个将 MP 概念与时间感知学习范式联系起来的工作。 MP 在任何研究领域的应用目前都是新生的。
• 我们引入了一个新的时间感知多持久性不变量，一个动态欧拉-庞加莱曲面 。 我们证明了它的稳定性，并展示了它在编码时间条件知识方面的大量计算收益和高实用性。
• 我们提出了一种用于时间条件知识表示的有向多层超图的数学抽象，并构建了一种新的时间感知多持久性空间超图卷积网络 (TAMP-S2GCNets)，它同时学习复杂实体之间的潜在时间间和内部关系 高维数据。
• 我们进行了广泛的预测实验，应用于高速公路交通流量、以太坊代币价格和 COVID-19 住院治疗。 与多变量时间序列预测中的最先进方法相比，我们的研究结果证明了 TAMP-S2GCNets 具有卓越的预测性能、多功能性和计算效率。