• 我的订阅
  • 科技

美国东北大学提出视频数据增强方法,能让视频模型学到更好的表征

类别:科技 发布时间:2024-05-07 10:12:00 来源:DeepTech深科技

在深度学习的框架之下,各种数据增强方法由于其缓解过拟合的特性,而被广泛使用在模型训练过程中,例如图像的旋转、缩放、颜色的改变等等。

然而,美国东北大学三年级博士生张一天和所在团队发现作为图像色彩的一个重要属性,色调(Hue)的变化却在现今图像识别的训练框架下被忽视。

其中有两个原因:

其一,色调产生的变化会导致图像中被识别对象的外观产生明显的颜色改变,例如北极熊的图像经过色调变化之后可能会看起来更像棕熊,导致模型识别困难。

其二,现有深度学习框架下,针对色调变换这一操作的实现比较低效,导致模型训练过程非常缓慢。

在近期一项研究中,张一天等人重新审视了色调变换这一操作在视频数据这一模态下的作用,并观察到了完全相反的现象,即这种操作能让视频理解模型的性能和泛化性得到提升。

通过进一步地分析其在不同模态数据下(图像/视频)表现差异的原因,他们发现对于视频理解来说,被识别对象的静态外观并不是很重要,有时甚至是有害的。

例如,在视频中一个人拿着足球进行篮球的投篮动作,如果模型仅仅是根据物体的静态外观来理解视频,那么模型可能会因为在视频中识别到足球而错误地认为这个人在踢足球。

因此,该团队认为在视频数据中,更重要的是理解视频传递出的时序信息,例如要去理解投篮这个动作本身,而不是理解球的外观。

由此便可以推断出色调变换在视频理解中产生有效性的原因,即这一操作能够改变视频数据的静态外观,从而让模型学习到基于静态外观不变的表征,进而隐式地鼓励模型更加关注视频数据中的时序信息。

即使如此,直接将现有色调变换的实现加入到训练过程中会有两个问题:

首先,在现有框架之下,这个操作的实现比较低效,会严重拖慢训练进程。

其次,通过色调变换产生的视频,会表现出较为明显的失真,导致数据增强后训练集的分布与真实数据的分布出现偏移,以至于限制模型的性能。

为解决以上问题,课题组提出了一种通过强化模型针对视频数据中动态信息捕捉的数据增强方法。

它由两个部分组成:

第一部分,指的是该团队提出的一种能够实现高效色调变换的方式——SwapMix,即通过对图像通道顺序的随机打乱来模拟色调的变化,并在不同平台上(CPU/GPU)均取得了显著的速度提升。

第二部分,指的是课题组提出了一种解决数据增强所导致的分布偏移的通用型方法——Variation Alignment。

即通过构建由普通样本和增强样本组成的训练对,显式地迫使模型尽可能地产生相似的输出,从而避免让增强样本参与到交叉熵损失的优化过程中,并让模型学习到基于静态外观不变的表征。

总的来说,他们重新审视了色调变换在视频数据下的作用,证明了其在视频理解中的有效性。

与此同时,针对传统色调变换实现中的诸多问题,课题组提出了一个通用且简单的解决方案,从而能够激励模型更多关注于视频的动态信息,以便更好地针对时序信息进行建模。

总结来说,本次方法有以下两点优势:

首先,本次方法的背后思想非常简单和通用,对于视频理解模型本身没有任何要求和任何限制,所以能被轻易加入到不同模型的训练中。

其次,由于色调变换这一操作在大部分之前的工作中都被忽略,所以本次方法能够很好地兼容已有的数据增强方法,并能取得进一步的性能提升。

例如,对于现在比较热门的多模态大模型的研究,本次方法可被用于视频模态编码器的训练中,从而让模型提取更好的关于视频模态的表征。

除此之外,该团队所提出的可用于解决色调变换所导致的分布偏移的方法——Variation Alignment,也是一个能用于不同数据增强方法的通用方案。

具体来说,现有的数据增强方法都或多或少存在分布偏移的问题,而本次方法可以被看作是一个通用工具,因此可被用于不同的数据增强方法之中,解决分布偏移带来的负面影响,进一步地提升模型的性能和泛化能力。

事实上,早在博士一年级张一天就完成了本次工作。当时,他对于视频理解很感兴趣。

后来,他发现这个领域所常用的数据增强方法,无一例外都是来自于图像识别领域,很少有人研究针对视频数据的数据增强方法。

于是,他萌生了探究这个方向的想法,但是当时关于研究动机和背后原因没有想得特别明确。

之后,他重新整理思路,发现色调变换这个操作虽然在图像识别领域被刻意忽视,但是在视频理解领域里有着非常好的效果。

随后,他便在这个小方向做了更加深入的探究,打造出了目前的方法。

“虽然完全放弃了我们之前的方案,等于把这个项目重做一遍,但是因为最终的方法蕴含着着很强的研究动机和分析支撑,所以完成得也算是比较顺利。”张一天说。

最终,相关论文以《不要被外观欺骗:基于时序一致的视频表征》(DON’T JUDGE BY THE LOOK:TOWARDS MOTION COHERENT VIDEO REPRESENTATION)为题发在 ICLR2024[1]。

美国东北大学提出视频数据增强方法,能让视频模型学到更好的表征

图 | 相关论文(来源:arXiv)

张一天担任第一作者和通讯作者。

美国东北大学提出视频数据增强方法,能让视频模型学到更好的表征

图 | 张一天(来源:张一天)

不过,尽管本次方法是一个针对视频模态的数据增强方法,但所研究的本质问题还是如何让模型学习到更好的关于视频的表征。

这和图像识别研究仍然存在一定区别,因为张一天不仅想让模型理解单张图像的内容,同时也想让模型理解视频中时序上的信息和变化。

因此,他在后续研究中将探索如何利用大语言模型的推理能力,来辅助现有模型学习到更好的关于视频的表征,从而提供一个更好的视频编码器,构造一个能力更强、功能更多的多模态大模型。

参考资料:

1.https://arxiv.org/pdf/2403.09506

排版:希幔

以上内容为资讯信息快照,由td.fyun.cc爬虫进行采集并收录,本站未对信息做任何修改,信息内容不代表本站立场。

快照生成时间:2024-05-07 11:45:09

本站信息快照查询为非营利公共服务,如有侵权请联系我们进行删除。

信息原文地址:

最新美国国家人工智能科学院院士介绍
...,对人工智能领域的进步产生了深远影响。IrinaRish,来自东北大学(NortheasternUniversity)
2024-03-24 08:39:00
Meta提出“可持续思维链”,让大模型在连续潜空间中推理
...阻碍 LLM 的进一步创新。 为了缓解这一问题,来自美国东北大学的研究团队及其合作者推出了 Moxin-7B,它是一个完全开源的 LLM
2024-12-13 09:19:00
科学家竞相破解大型语言模型背后的谜团
...没有利用思维链的推理能力,它只是偷偷加了计算。美国东北大学计算机科学家戴维·鲍表示,尽管以研究人类的方式研究LLM有点奇怪,但两者的行为却以令人惊讶的方式重叠。在过去两年里,
2024-05-18 02:42:00
山东财经大学举办2023大数据与人工智能会议
...Fujita教授,香港科技大学(广州)协理副校长熊辉教授,东北大学工商学院院长蒋忠中教授,华中科技大学图像信息处理与智能控制教育部重点实验室副主任伍冬睿教授,北京航空航天大学
2023-12-13 17:40:00
相约高博会 | 东北师范大学教师教育大模型震撼登场
...学校自研基座大模型基础上,融合百余万课时的优质教学视频、2.3亿条多模态教学数据蒸馏而成,运用多阶段训练方法,采用“参数-向量”双驱动方式和“人在回路”闭环反馈机制,实现复杂
2025-05-24 22:21:00
奇绩创坛2023春季路演日:60个项目,超一半与大模型相关,企服项目占比第二
...杨浩是计算机科学博士,阿里巴巴人工智能实验室和阿里视频云的边缘计算实验室北京团队负责人,华为边缘云创新实验室及慕尼黑云智能实验室首席AI科学顾问。联合创始人Joseph Be
2023-06-06 09:39:00
“3D视频版Sora”来了!
...用途。SV4D技术论文也同步发表,研究团队由Stability AI和东北大学学者组成,其中详细解读了该模型的框架结构
2024-07-26 09:30:00
人工智能产业的未来之星大PK 中国大学生计算机设计大赛落幕
...。你是否想过有朝一日某一位名人“穿越时空”为你发来视频、帮你答疑解惑?重庆财经学院的李天都团队设计的基于声纹驱动图像识别的智慧教育平台或许可以让梦想成真。“我们合并改进了市面
2023-08-12 19:13:00
带着关于美国大学的50个问题,来刁难一下ChatGPT的AI
...找AI!Q13Northeastern University的学费是多少?ChatGPT回答美国东北大学(Northeastern University)的学费根据学生的入学年级和专业不同而有所差别
2022-12-10 12:00:00
更多关于科技的资讯:
中新经纬10月23日电 题:“山姆们”为何加速布局下沉市场?作者 江瀚 盘古智库高级研究员近日,以盒马、山姆为代表的新零售企业加速向全国下沉市场布局
2025-10-23 14:10:00
让残片活成文明的密码:专访90后文物活化创业者苗毅斐
2025 年上半年,文物拍卖市场迎来全面复苏,头部拍卖行交出亮眼成绩单,佳士得亚洲春季拍卖斩获 22 亿港元,苏富比亚洲中国艺术品专场亦录得 7
2025-10-23 14:18:00
西瓜学员科创赛事创佳绩,勇夺全球发明大会公益主题奖
2025 年 7 月 26 日至 28 日,全球发明大会中国区(ICC)全国总决赛在河南郑州国际会展中心落下帷幕。作为教育部严格筛选出的 “白名单” 竞赛
2025-10-23 14:18:00
深夜的福州南站,本应是灯火渐暗、人潮散去的时刻。然而在10月20日凌晨,这里却灯火通明、人声鼎沸——中国铁路南昌局集团有限公司首次推出的“歌迷专列”正整装待发
2025-10-23 15:29:00
万达电影亮相版博会,授权+原创双管齐下诠释“版权正当潮”
2025年10月16日,第十届中国国际版权博览会在青岛国际会展中心(崂山馆)正式开幕,万达电影作为参展商亮相北京展区。万达电影以“版权正当潮”为题
2025-10-23 16:08:00
拼多多给员工发黄金,10年老员工直接领100克金子? 网友:还得是真金白银实在!
2025年是拼多多成立10周年,日前,有拼多多员工在社交平台上晒出了拼多多给员工赠送的“周年礼”。据拼多多员工晒出的“周年礼”
2025-10-23 17:15:00
鲁网10月23日讯(记者 于胜涛)如今走进青岛市即墨区第二人民医院,会发现曾经缴费窗口排起的长队变短了,窗口前的焦灼面容也减少了
2025-10-23 17:19:00
泉韵风雅 尊享折叠 心系天下三星W26品鉴会落地济南
鲁网10月23日讯泉城济南,历史与潮流交相辉映;匠心之作,传承与创新共谱新章,10月23日,心系天下三星W26品鉴会于济南举行
2025-10-23 17:21:00
泉城雅集品匠心,心系天下三星W26品鉴会济南举办
10月23日,历史文化名城济南迎来一场科技与美学交融的盛宴——心系天下三星W26品鉴会。作为三星电子与中国电信携手打造的第18代超高端旗舰
2025-10-23 17:48:00
据统计,我国家电保有量已超 30 亿台,大量老旧热水器存在能耗高(超期服役机型能耗比新品高 50% 以上)、安全隐患突出等问题
2025-10-23 17:57:00
海尔发明了三筒洗衣机,也发明了行业新品类
中国家电品牌在海外市场的拓展速度再次刷新了大众的认知。前不久,海尔三筒洗衣机作为首个出口东南亚的中国三筒洗衣机品牌,一亮相直接登陆越南第一大现代连锁渠道
2025-10-23 18:02:00
作为深耕热水器领域 32年的专业品牌,万和始终以 “技术创新驱动用户体验升级” 为核心,依托行业领先的蓝金刚内胆、精准恒温
2025-10-23 18:05:00
2025年前三季度,社会消费品零售总额同比增长4.8%,服务零售额增速更是快于商品零售近3个百分点,消费“压舱石”作用愈发凸显
2025-10-23 18:36:00
贵州火焰山电器:开足马力备战销售旺季 AI新品成市场“硬通货”
多彩贵州网讯 随着秋冬季节来临,黔北大地寒意初显,位于贵州省遵义市播州区的贵州火焰山电器股份有限公司内却是一片火热景象
2025-10-23 18:40:00
冲刺四季度 打好收官战丨湖北铝创铝业:优产品提质效 投产首年产值破3亿
十堰广电讯(全媒体记者 何旭 通讯员 胡新)进入四季度,湖北铝创铝业有限公司以提质增效为核心,通过引进先进设备、优化产品结构
2025-10-23 20:38:00