• 我的订阅
  • 科技

ai自给自足,用合成数据做训练

类别:科技 发布时间:2023-02-23 12:53:00 来源:浅语科技

AI生成的图像太逼真,为什么不能拿来训练AI呢?

可别说,现在还真有人这么做了。

来自香港大学、牛津大学和字节跳动的几名研究人员,决定尝试一下能否使用高质量AI合成图片,来提升图像分类模型的性能。

为了避免AI合成的图像过于单一、或是质量不稳定,他们还提出了几类提升数据多样性和可靠性的方法,帮助AI合成更好的数据集(来喂给AI的同类doge)。

结果他们发现,不仅效果不错,有的AI在训练后,效果竟然比用真实数据训练还要好!

ai自给自足,用合成数据做训练

目前这篇论文已经被ICLR2023收录。

ai自给自足,用合成数据做训练

把AI生成的数据喂给AI

作者们分别从零样本(zero-shot)、少样本(few-shot)图像分类、模型预训练(pre-training)与迁移学习三个⽅⾯进⾏了探讨,并给出了提升数据多样性与可靠性的方法。零样本图像分类

零样本(Zero-shot)图像分类任务,指没有任何⽬标类别的训练图⽚,只有对⽬标类别的描述。

作者们先是提出了一种名为语言增强(LanguageEnhancement,LE)的⽅法,用于增强合成数据多样性。

具体来说,这种方法会给标签“扩句”,如果原标签是简单的“飞机”,那么经过“扩句”后的提示词就会变成“一架盘旋在海滩和城市上空的白色飞机”。

随后,还采用了一种叫做 CLIP过滤器(CLIPFilter)的⽅法确保合成数据的可靠性,即过滤掉合成质量不行的图片,确保AI数据质量过硬。

在17个数据集上,相⽐此前效果最好的CLIP模型,相关⼤⼩模型均获得了显著提升(4.31%/2.90%),展示了合成数据的有效性。

ai自给自足,用合成数据做训练

少样本图像分类

少样本图像(Few-shot)分类任务,通常仅有极少数量(1~16张)的⽬标类别图⽚,与零样本任务的区别是增加了类别与任务特定领域信息。

因此,作者们决定将域内数据(in-domain)的知识⽤于图像⽣成,即将少量的⽬标类别图⽚⽤于噪声叠加的初始状态(RealGuidance),进⼀步发挥⽣成模型的能⼒,从而进⼀步提升性能。

ai自给自足,用合成数据做训练

ai自给自足,用合成数据做训练

预训练与迁移学习

模型预训练(pre-training)任务,即将模型在⼤量数据上进⾏训练,将训练后的模型作为“起始点”,来帮助提升下游任务的性能。

作者们利⽤合成数据,对模型进⾏了预训练,并对数据量、数据多样性程度、预训练模型结构和预训练⽅法进⾏了实验研究。

最终发现:

⽤合成数据进⾏预训练。已经可以达到甚⾄超越⽤真实数据预训练的效果。

⽤更⼤的数据量和数据多样性的合成数据,可以获得更好的预训练效果。

从模型结构和预训练⽅法来看,ViT-based模型(相比convolutional-based模型)、⾃监督⽅法(相比有监督⽅法)会更适合合成数据下的预训练。

ai自给自足,用合成数据做训练

论文认为,利⽤⽣成模型产⽣的合成数据来帮助图像分类任务是可行的,不过也存在⼀定的局限性。

例如,如何处理特定任务的domaingap和数据多样性之间的trade-off,以及如何更有效地利⽤潜在⽆穷量的合成图⽚⽤于预训练,都是需要进一步去解决的问题。作者介绍

ai自给自足,用合成数据做训练

一作何睿飞,香港大学在读博士生@CVMILab,指导老师为齐晓娟老师,本科毕业于浙江大学竺可桢学院,研究方向是data-efficientlearning,vision-languagemodel,knowledgedistillation,semi/self-supervisedlearning。CVMILab正在招收计算机视觉与深度学习方向的博士生,感兴趣的伙伴可以直接email老师!

对于将AI合成图像用于预训练模型这件事,你还能想到更高效的方法吗?

以上内容为资讯信息快照,由td.fyun.cc爬虫进行采集并收录,本站未对信息做任何修改,信息内容不代表本站立场。

快照生成时间:2023-02-23 16:45:13

本站信息快照查询为非营利公共服务,如有侵权请联系我们进行删除。

信息原文地址:

ai绘画侵权实锤,扩散模型可能记住你的照片
...绘画侵权,实锤了!最新研究表明,扩散模型会牢牢记住训练集中的样本,并在生成时“依葫芦画瓢”。也就是说,像StableDiffusion生成的AI画作里,每一笔背后都可能隐藏着
2023-02-03 22:00:00
迎战GPT-4V!谷歌PaLI-3视觉语言模型问世,更小、更快、更强
...倍的模型相比具有显著竞争力。研究人员使用分类目标预训练的视觉变换器(ViT)模型与对比性预训练的模型(SigLIP)进行了比较
2023-10-17 16:31:00
微美全息(NASDAQ:WIMI)将迁移学习引入到语义分割模型,实现高质量的语义分割任务
...。然而,由于语义分割任务的复杂性和数据的不足,单独训练一个语义分割模型可能会面临一些挑战,例如模型过拟合、模型泛化能力不足等。为了解决这些问题,微美全息(NASDAQ:WIM
2023-11-15 01:02:00
华人团队爆火instructblip抢跑看图聊天
...究人员首先介绍了指令微调数据的构建,然后则是具体的训练过程。之后,分别从模型和数据的角度阐述了两种提高指令微调性能的技术。为了保证指令微调数据的多样性,同时考虑到它们的可及性
2023-05-15 20:17:00
...资由Madrona和Insight Partners领投。据悉,新资金将用于管理训练、测试、微调由人工智能模型生成的大量视觉数据集
2023-05-29 20:02:00
对比学习滥用隐私数据!中科院等发布「多步误差最小化」方法 | ACM MM2024
...因为黑客可能会未经授权地利用图像-文本数据进行模型训练,其中可能包括个人和隐私敏感信息。最近的工作提出通过向训练图像添加难以察觉的扰动来生成不可学习样本(Unlearnable Examples)
2024-08-02 09:55:00
1890美元,就能从头训练一个还不错的12亿参数扩散模型
只用1890美元、3700 万张图像,就能训练一个还不错的扩散模型。现阶段,视觉生成模型擅长创建逼真的视觉内容,然而从头开始训练这些模型的成本和工作量仍然很高
2024-07-30 09:37:00
2022生成模型进展有多快,新论文盘点9类生成模型代表作
...上做出大突破。与DALL・E一样,两点依旧是CLIP模型,除了训练数据庞大,CLIP基于Transformer对图像块建模
2023-01-30 16:34:00
微美全息构建基于深度迁移学习的图像分类融合模型, 提高图像分类的准确性和效率
...,构建了图像分类融合模型,通过利用在大规模数据集上训练的模型的特征表示来提升小样本数据集上的分类性能。深度迁移学习可将已经在大规模数据集上训练好的深度学习模型应用于新的任务中
2023-10-23 16:02:00
更多关于科技的资讯:
10月1日,从太钢获悉,今年以来,太钢不锈进料加工团队以“精准备案、高效协同”为核心,在进料铬铁镍铁资源利用方面取得突破性进展
2025-10-02 17:39:00
厦门网讯(厦门日报记者 林露虹)记者昨日从中国移动咪咕公司获悉,该公司打造的“鼓浪屿AI伴游”服务已正式上线。市民和游客只需打开“鼓浪屿元宇宙”微信小程序
2025-10-02 08:57:00
“中国脑机谷”落户新奥新智感知产业园 政企研协同构建脑机接口产业新生态
河北新闻网讯(张新)9月26日,脑机接口产业联盟首届“脑机接口50人论坛”暨天津脑机接口产业创新发展推进会举办。会上,由新奥集团旗下的天津新智感知科技有限公司
2025-10-01 08:40:00
国网三明供电公司:守护灯火庆华诞 主动运维显担当
国网三明供电公司检修人员及时更换损坏器件并调整传动系统并完成设备修复及全套试验。(纪长添 摄)东南网10月1日讯 9月28日
2025-10-01 09:19:00
9月26日,由华东政法大学与上海星瀚律师事务所联合主办的第三届“星瀚杯”走进企业的法律课公益大赛正式启动。腾讯云作为大赛的技术支持单位
2025-10-01 09:56:00
平望实小承办吴江区骨干教师(数学)讲学团活动
为进一步发挥吴江区骨干教师的示范和辐射作用,推进课堂教学改革,有效提升教师教学业务能力。2025年9月24日,由苏州市吴江区教师发展中心主办的2025年吴江区骨干教师(数学)讲学团活动在平望实验小学举行
2025-10-01 09:58:00
AI技术让抗战文物“活起来”,人民日报数字传播联合百度推抗战文物智能体
9月30日,由人民日报数字传播与中国国家博物馆、中国人民大学、百度文心大模型、百度百科联合出品的《80年,80件》智能体和3D文物词条正式上线
2025-10-01 10:00:00
新时达2025工博会圆满落幕 | STEP 2.0战略引领智能制造新篇章
2025年9月23日至27日,第二十五届中国国际工业博览会在国家会展中心(上海)盛大举行。新时达以"智拓无界 共创未来"为主题
2025-10-01 10:00:00
从课堂到产线,河北工大学子开展智慧物流与“地狼”系统自动化技术实训
河北新闻网讯(胡广涛)组装调试机器人、体验智慧仓储系统、探索自动化技术前沿……近日,河北工业大学人工智能与数据科学学院2022级自动化专业全体学生在廊坊分校
2025-10-01 11:12:00
中国青年报客户端讯(中青报·中青网记者 夏瑾)9月30日,由湖州师范学院音乐学院、湖州市音声数据挖掘与智能服务重点实验室主办的“1617系列明代魏氏乐虚拟乐器音源”全球发布会在浙江省杭州市举办
2025-10-01 14:11:00
“智慧武当”给游客带来数字文旅新体验
十堰广电讯(通讯员 汪伟 周琼 耿宇)“一部手机游武当”预约购票、AI导游、《入境武当》VR大空间、问道武当数字客厅……国庆假日
2025-10-01 18:35:00
津云文旅电商版块上线 首发“笑漾海河”优选线路 扫码阅读手机版
10月1日,天津鹏欣水游城14周年庆暨津云新媒体“笑漾海河”文旅电商线路首发仪式成功举办。近年来,随着“文旅+电商”模式的快速发展
2025-10-01 18:55:00
陕西数字贸易闪耀第四届数贸会 数字贸易合作成果丰硕
9月29日,为期5天的第四届全球数字贸易博览会(以下简称“数贸会”)在浙江杭州大会展中心圆满落下帷幕。此次盛会,陕西代表团表现亮眼
2025-10-01 18:58:00
高德扫街榜国庆提醒:全国十大吃货友好高铁站看这里
2025年国庆节与中秋节叠加,全国铁路预计发送旅客2.19亿人次。赶高铁如何吃饱吃好?今天,高德扫街榜发布“十大吃货友好高铁站”
2025-10-01 20:19:00
能效提升15%,山东港口日照港顺岸式全自动化码头再迎新突破
9月29日,在山东港口日照港全自动化集装箱码头,随着A23自动化轨道吊精准将集装箱吊起、转运,标志着日照港研发的新一代双悬臂轻量化轨道吊投产试运行
2025-10-01 23:08:00