美国东北大学提出视频数据增强方法，能让视频模型学到更好的表征

在深度学习的框架之下，各种数据增强方法由于其缓解过拟合的特性，而被广泛使用在模型训练过程中，例如图像的旋转、缩放、颜色的改变等等。

然而，美国东北大学三年级博士生张一天和所在团队发现作为图像色彩的一个重要属性，色调（Hue）的变化却在现今图像识别的训练框架下被忽视。

其中有两个原因：

其一，色调产生的变化会导致图像中被识别对象的外观产生明显的颜色改变，例如北极熊的图像经过色调变化之后可能会看起来更像棕熊，导致模型识别困难。

其二，现有深度学习框架下，针对色调变换这一操作的实现比较低效，导致模型训练过程非常缓慢。

在近期一项研究中，张一天等人重新审视了色调变换这一操作在视频数据这一模态下的作用，并观察到了完全相反的现象，即这种操作能让视频理解模型的性能和泛化性得到提升。

通过进一步地分析其在不同模态数据下（图像/视频）表现差异的原因，他们发现对于视频理解来说，被识别对象的静态外观并不是很重要，有时甚至是有害的。

例如，在视频中一个人拿着足球进行篮球的投篮动作，如果模型仅仅是根据物体的静态外观来理解视频，那么模型可能会因为在视频中识别到足球而错误地认为这个人在踢足球。

因此，该团队认为在视频数据中，更重要的是理解视频传递出的时序信息，例如要去理解投篮这个动作本身，而不是理解球的外观。

由此便可以推断出色调变换在视频理解中产生有效性的原因，即这一操作能够改变视频数据的静态外观，从而让模型学习到基于静态外观不变的表征，进而隐式地鼓励模型更加关注视频数据中的时序信息。

即使如此，直接将现有色调变换的实现加入到训练过程中会有两个问题：

首先，在现有框架之下，这个操作的实现比较低效，会严重拖慢训练进程。

其次，通过色调变换产生的视频，会表现出较为明显的失真，导致数据增强后训练集的分布与真实数据的分布出现偏移，以至于限制模型的性能。

为解决以上问题，课题组提出了一种通过强化模型针对视频数据中动态信息捕捉的数据增强方法。

它由两个部分组成：

第一部分，指的是该团队提出的一种能够实现高效色调变换的方式——SwapMix，即通过对图像通道顺序的随机打乱来模拟色调的变化，并在不同平台上（CPU/GPU）均取得了显著的速度提升。

第二部分，指的是课题组提出了一种解决数据增强所导致的分布偏移的通用型方法——Variation Alignment。

即通过构建由普通样本和增强样本组成的训练对，显式地迫使模型尽可能地产生相似的输出，从而避免让增强样本参与到交叉熵损失的优化过程中，并让模型学习到基于静态外观不变的表征。

总的来说，他们重新审视了色调变换在视频数据下的作用，证明了其在视频理解中的有效性。

与此同时，针对传统色调变换实现中的诸多问题，课题组提出了一个通用且简单的解决方案，从而能够激励模型更多关注于视频的动态信息，以便更好地针对时序信息进行建模。

总结来说，本次方法有以下两点优势：

首先，本次方法的背后思想非常简单和通用，对于视频理解模型本身没有任何要求和任何限制，所以能被轻易加入到不同模型的训练中。

其次，由于色调变换这一操作在大部分之前的工作中都被忽略，所以本次方法能够很好地兼容已有的数据增强方法，并能取得进一步的性能提升。

例如，对于现在比较热门的多模态大模型的研究，本次方法可被用于视频模态编码器的训练中，从而让模型提取更好的关于视频模态的表征。

除此之外，该团队所提出的可用于解决色调变换所导致的分布偏移的方法——Variation Alignment，也是一个能用于不同数据增强方法的通用方案。

具体来说，现有的数据增强方法都或多或少存在分布偏移的问题，而本次方法可以被看作是一个通用工具，因此可被用于不同的数据增强方法之中，解决分布偏移带来的负面影响，进一步地提升模型的性能和泛化能力。

事实上，早在博士一年级张一天就完成了本次工作。当时，他对于视频理解很感兴趣。

后来，他发现这个领域所常用的数据增强方法，无一例外都是来自于图像识别领域，很少有人研究针对视频数据的数据增强方法。

于是，他萌生了探究这个方向的想法，但是当时关于研究动机和背后原因没有想得特别明确。

之后，他重新整理思路，发现色调变换这个操作虽然在图像识别领域被刻意忽视，但是在视频理解领域里有着非常好的效果。

随后，他便在这个小方向做了更加深入的探究，打造出了目前的方法。

“虽然完全放弃了我们之前的方案，等于把这个项目重做一遍，但是因为最终的方法蕴含着着很强的研究动机和分析支撑，所以完成得也算是比较顺利。”张一天说。

最终，相关论文以《不要被外观欺骗：基于时序一致的视频表征》（DON’T JUDGE BY THE LOOK：TOWARDS MOTION COHERENT VIDEO REPRESENTATION）为题发在 ICLR2024[1]。

图 | 相关论文（来源：arXiv）

张一天担任第一作者和通讯作者。

图 | 张一天（来源：张一天）

不过，尽管本次方法是一个针对视频模态的数据增强方法，但所研究的本质问题还是如何让模型学习到更好的关于视频的表征。

这和图像识别研究仍然存在一定区别，因为张一天不仅想让模型理解单张图像的内容，同时也想让模型理解视频中时序上的信息和变化。

因此，他在后续研究中将探索如何利用大语言模型的推理能力，来辅助现有模型学习到更好的关于视频的表征，从而提供一个更好的视频编码器，构造一个能力更强、功能更多的多模态大模型。

参考资料：

1.https://arxiv.org/pdf/2403.09506

排版：希幔