• 我的订阅
  • 科技

Meta 公司发布 Imagine Yourself AI 模型

类别:科技 发布时间:2024-08-24 09:44:00 来源:IT之家

IT之家 8 月 23 日消息,从社交媒体到虚拟现实,个性化图像生成因其在各种应用中的潜力而日益受到关注。传统方法通常需要针对每位用户进行大量调整,从而限制了效率和可扩展性,为此 Meta 公司创新提出了“Imagine Yourself” AI 模型。

传统个性化图像生成方法挑战

目前的个性化图像生成方法通常依赖于为每个用户调整模型,这种方法效率低下,而且缺乏通用性。虽然较新的方法试图在不进行调整的情况下实现个性化,但它们往往过度拟合,导致复制粘贴效应。

Imagine Yourself 创新

Imagine Yourself 模型不需要针对特定用户微调,通过单一模式能够满足不同用户的需求。

该模型解决了现有方法的不足之处,如倾向于毫无变化地复制参考图像,从而为更通用、更方便用户的图像生成流程铺平了道路。

Imagine Yourself 在保存身份、视觉质量和及时对齐等关键领域表现出色,大大优于之前的模型。

该模型的主要组成部分包括:

生成合成配对数据以鼓励多样性; 整合了三个文本编码器和一个可训练视觉编码器的完全并行注意力架构; 以及一个从粗到细的多阶段微调过程

这些创新技术使该模型能够生成高质量、多样化的图像,同时保持强大的身份保护和文本对齐功能。

Imagine Yourself 使用可训练的 CLIP 补丁编码器提取身份信息,并通过并行交叉注意模块将其与文本提示整合在一起,准确保存身份信息并对复杂的提示做出反应。

Meta 公司发布 Imagine Yourself AI 模型

该模型使用低阶适配器(LoRA)仅对架构的特定部分进行微调,从而保持较高的视觉质量。

Imagine Yourself 的一个突出功能是生成合成配对(SynPairs)数据。通过创建包含表情、姿势和光照变化的高质量配对数据,该模型可以更有效地学习并产生多样化的输出结果。

值得注意的是,在处理复杂的提示词方面,与最先进的模型相比,它在文本对齐方面实现了 +27.8% 的显著改进。

研究人员使用一组 51 种不同身份和 65 个提示对 Imagine Yourself 进行了定量评估,生成了 3315 幅图像供人类评估。

Meta 公司发布 Imagine Yourself AI 模型

该模型与最先进的(SOTA)adapter-based 模型和 control-based 模型进行了比对,重点关注视觉吸引力、身份保持和提示对齐等指标。

人工注释根据身份相似性、及时对齐和视觉吸引力对生成的图像进行评分。与 adapter-based 模型相比,Imagine Yourself 在提示对齐方面有了 45.1% 的显著提高,与基于控制的模型相比有了 30.8% 的提高,再次证明了它的优越性。

Imagine Yourself 模型是个性化图像生成领域的一大进步。该模型无需针对特定对象进行调整,并引入了合成配对数据生成和并行注意力架构等创新组件,从而解决了以往方法所面临的关键挑战。

以上内容为资讯信息快照,由td.fyun.cc爬虫进行采集并收录,本站未对信息做任何修改,信息内容不代表本站立场。

快照生成时间:2024-08-24 11:45:02

本站信息快照查询为非营利公共服务,如有侵权请联系我们进行删除。

信息原文地址:

Google推出全新人工智能模型Gemini 2.0 用途更为广泛
Google的下一个主要人工智能模型已经到来,以对抗来自 OpenAI 的新产品的夹击。本周三,Google 发布了 Gemini 2
2024-12-12 09:54:00
meta开发出文本生成图像模型cm3leon
Meta公司宣布开发出一款名为CM3Leon的人工智能模型,该模型可以根据文本生成高质量的图像,也可以为图像生成文本描述
2023-07-17 12:29:00
刚刚,重磅发布!阿里、腾讯、科大讯飞在列
...首批公开的算法备案清单。值得注意的是,此次名单中大模型算法并不多,除了百度PLATO大模型算法和讯飞星火认知大模型算法之外,阿里的多模态算法达摩院交互式多能型合成算法也在列。
2023-06-20 17:00:00
撞墙还是新起点?自回归模型在图像领域展现出Scaling潜力
...e Information 的一篇文章。这篇文章透露,OpenAI 下一代旗舰模型的质量提升幅度不及前两款旗舰模型之间的质量提升
2024-11-27 13:32:00
谷歌 AI 绘画 4 大牛携手创业,天使估值 7 个亿
...悉,这回跟谷歌saybyebye的,是文生图核心团队——AI绘画模型 Imagen论文的四位核心作者,出走目的是要搞自己的AI公司
2023-03-04 23:21:00
腾讯3D大模型全面开源,文本图像10秒转3D资产
3D生成开源界首个同时支持文字、图像转3D的模型来了,效果还是SOTA级别。就在刚刚,腾讯宣布推出Hunyuan3D-1.0,一口气开源轻量版和标准版两个模型。最快10秒就能端到
2024-11-06 09:43:00
谷歌CEO反思大模型生成错误图像:不可接受,初期没有完美AI
...,跌1.91%,总市值1.70万亿美元。就在本月初,谷歌为其AI模型Gemini推出了图像生成器工具,允许用户通过输入提示来创建图像。但在过去一周中,网友们发现,该工具似乎在
2024-02-29 15:37:00
Sora再度颠覆AI视频行业,A股哪些公司有相关布局?
...智能(AI)巨头OpenAI又出王炸,其最新推出的文生视频大模型Sora因其“逼真”和“富有想象力”被广泛赞誉,其生成视频可达60秒也颠覆了传统视频生成领域平均只有4秒的视频生成长度
2024-02-19 08:10:00
最强开源文生图模型一夜易主!SD原班人马打造,要发SOTA视频生成模型
最强开源文生图模型一夜易主!智东西8月2日报道,昨日晚间,开源文生图模型霸主Stable Diffusion原班人马,宣布推出全新的图像生成模型FLUX
2024-08-05 09:39:00
更多关于科技的资讯: