激色猫小叮当 基于扩散模子和学问蒸馏时间的时分序列插补要领

汉文题目：基于扩散模子和学问蒸馏时间的时分序列插补要领激色猫小叮当

论文题目：Diffusion Modeling and Transformer Knowledge Distillation Techniques for Time Series Imputation

委用期刊/会议：2024中国自动化大会 （CAA A类会议）

委用时分：2024.9.20

作家列表：

1) 激色猫小叮当阮丹灵 中国石油大学（北京）东说念主工智能学院 末端工程 硕22级

男同小说

2) 刘建伟 中国石油大学（北京）东说念主工智能学院 自动化系 磨真金不怕火激色猫小叮当

纲要:

频年来，大数据分析特别热门，但数据在收罗、存储等历程中经常会出现缺失的表象，进而影响到数据分析的成果。因此，本文提倡用扩散模子来插补时分序列的缺失值，况且加入了Transformer结构来捕捉时分序列数据中的复杂依赖关联，为了擢升插补的准确性，还将学问蒸馏用于扩散模子的逆向历程。咱们在医疗数据集和空气质地数据集上进行了执行，相比了不同缺失值占比的情况下，模子的进展。末端标明，咱们的模子在三个评价见识上均优于其他模子。

配景与动机:

频年来，大批的数据被用于分析和方案，好多限制用时分序列数据进行瞻望分析，举例，瞻望股票的价钱，瞻望天气，瞻望医疗会诊，瞻望及时交通。然而收罗的数据相似会存在缺失，时分序列数据的不完好会导致时分序列的建模出现偏差，进而影响到对时分序列数据分析的末端不准确，因此对时分序列的缺失值的责罚也成为一个很进犯的问题。缺失值的常用责罚要领时常有删除法和插补法两种，然而删除会导致数据一些分离特征的丢失，对后续的时分序列数据的责罚变成不良影响，是以怎样用更准确的要领来对缺失数据进行填补是当今的热门问题。

主要本体:

本文登第了扩散模子看成时分序列缺失值插补的基础模子，况且在此基础上加入了Transformer和学问蒸馏，将其看成扩散模子反向去噪历程的一部分。用Transformer来捕捉时分序列之间的特征依赖和时分依赖关联。用学问蒸馏来教唆去噪历程，将学生模子的去噪函数看成扩散模子的去噪函数，将学生模子和磨真金不怕火模子之间的瞻望噪声的差看成学问蒸馏的失掉函数，况且将学问蒸馏的失掉函数看成总失掉函数的正则化项。将模子用于医疗和空气质地数据集，况且和基线进行相比执行，得到本文的模子插补的准确率大于基线的准确率。终末，盘考了本文的上风和不及之处，况且提倡了之后应该怎样改变。

 图2. 基于扩散模子和学问蒸馏的插补模子结构图

论断:

本文提倡了一种扩散模子和学问蒸馏的时分序列插补的模子框架。该框架通过在扩散模子的反向历程中加入transformer，捕捉时分序列数据中的复杂依赖关联，擢升模子的进展才智。通过引入条目信息，Transformer在去噪历程中大致探讨更多的高下文信息，从而擢升瞻望精度。通过学习磨真金不怕火模子的瞻望，学生模子大致更快地料理并取得更高的瞻望精度。此外，咱们在医疗和空气质地数据上作念了对比执行。末端标明，本文提倡的框架更能准确的填补时分序列的缺失值，插补准确性更强。咱们的研究仍有改变的余步。当今的研究只是在扩散模子反向历程中加入了最通俗的学问蒸馏要领，昔时的使命不错尝试更为复杂的学问蒸馏，并将其欺诈在扩散模子的不同圭臬。

作家简介:

 刘建伟，磨真金不怕火，学者。