• 我的订阅
  • 科技

文生图参数量升至240亿!Playground v3发布:深度融合LLM,图形设计能力超越人类

类别:科技 发布时间:2024-10-08 09:48:00 来源:新智元

【新智元导读】Playground Research推出了新一代文本到图像模型PGv3,具备240亿参数量,采用深度融合的大型语言模型,实现了在图形设计和遵循文本提示指令上甚至超越了人类设计师,同时支持精确的RGB颜色控制和多语言识别。

自去年以来,文本到图像生成模型取得了巨大进展,模型的架构从传统的基于UNet逐渐转变为基于Transformer的模型。

Playground Research最近发布了一篇论文,详细介绍了团队最新的、基于DiT的扩散模型Playground v3(简称PGv3),将模型参数量扩展到240亿,在多个测试基准上达到了最先进的性能,更擅长图形设计。

与传统依赖于预训练语言模型如T5或CLIP文本编码器的文本到图像生成模型不同,PGv3完全集成了大型语言模型(LLMs),基于全新的深度融合(Deep-Fusion)架构,利用仅解码器(decoder-only)大型语言模型的知识,来进行文本到图像生成任务。

此外,为了提高图像描述的质量,研究人员开发了一个内部描述生成器(in-house captioner),能够生成不同详细程度的描述,丰富了文本结构的多样性,还引入了一个新的基准CapsBench来评估详细的图像描述性能。

实验结果表明,PGv3在文本提示遵循、复杂推理和文本渲染准确率方面表现出色;用户偏好研究表明,PGv3模型在常见的设计应用中,如表情包(stickers)、海报和logo设计,具有超越人类的图形设计能力,还能够精确控制RGB颜色和多语言理解。

PGv3模型架构

Playground v3(PGv3)是一个潜扩散模型(LDM),使用EDM公式进行训练。像DALL-E 3、Imagen 2和Stable Diffusion 3等其他模型一样,PGv3旨在执行文本到图像(t2i)生成任务。

PGv3完全集成了一个大型语言模型(Llama3-8B),以增强其在提示理解和遵循方面的能力。

文本编码器

Transformer模型中的每层捕捉到的表示不同,包含不同级别的单词级和句子级信息,标准做法是使用T5编码器或CLIP文本编码器的最后一层输出,或是结合倒数第二层的输出,不过,研究人员发现选择用于调节文本转图像模型的最佳层非常麻烦,特别是使用解码器风格的大型语言模型时,具有更复杂的内部表示。

文生图参数量升至240亿!Playground v3发布:深度融合LLM,图形设计能力超越人类

研究人员认为,信息流通过LLM每层的连续性是其生成能力的关键,而LLM中的知识横跨了所有层,而不是被某一层的输出所封装,所以PGv3在设计时,复制了LLM的所有Transformer块,可以从LLM的每个对应层中都获取隐藏嵌入输出。

这种方法可以充分利用LLM完整的「思考过程」,能够引导模型模仿LLM的推理和生成过程,所以在生成图像时,可以实现更好的提示遵循和一致性能力。

模型结构

PGv3采用了DiT风格的模型结构,图像模型中的每个Transformer块都设置得与语言模型(Llama3-8B)中的对应块相同,仅包含一个注意力层和一个前馈层,参数也相同,如隐藏维度大小、注意力头的数量和注意力头的维度,并且只训练了图像模型部分。

在扩散采样过程中,语言模型部分只需要运行一次,就可以生成所有中间隐藏嵌入。

与大多数传统的基于CNN的扩散模型不同,Transformer模型将图像特征的自注意力与图像和文本特征之间的交叉注意力分开,然后进行联合注意力操作,可以从图像和文本值的组合池中提取相关特征,并且能减少计算成本和推理时间,下面还有一些对性能提升有用的操作:

1. Transformer块之间的U-Net跳跃连接。

2. 中间层的token下采样,在32层中,在中间层将图像键和值的序列长度减少了四倍,使整个网络类似于只有一个下采样的传统卷积U-Net,略微加快了训练和推理时间,而且没有性能下降。

3. 位置嵌入,与llama3中的旋转位置嵌入(RoPE)相同,由于图像是二维的特征,所以研究人员探索了2D版本的RoPE:

「插值-PE」(interpolating-PE)方法不管序列长度如何,保持起始和结束位置ID固定后,在中间插值位置ID,不过该方法在训练分辨率上严重过拟合,并且无法泛化到未见过的纵横比。

相比之下,「扩展-PE」(expand-PE)方法按序列长度成比例增加位置ID,不使用任何技巧或归一化,性能表现良好,没有显示出分辨率过拟合的迹象。

新的VAE

潜扩散模型(LDM)的变分自编码器(VAE),对于确定模型的细粒度图像质量上限来说非常重要。

研究人员将VAE的潜通道数从4增加到16,增强了合成细节的能力,比如较小的面部和文字;除了在256×256分辨率下进行训练外,还扩展到512×512分辨率,进一步提高了重建性能。

CapsBench描述基准

图像描述评估是一个复杂的问题,目前的评估指标主要分为两类:

1. 基于参考的指标,如BLEU、CIDEr、METEOR、SPICE,使用一个真实描述或一组描述来计算相似度作为质量度量,模型得分受到参考格式的限制;

2. 无参考指标,如CLIPScore、InfoMetIC、TIGEr,使用参考图像的语义向量或图像的多个区域来计算所提出描述的相似度指标,但缺点是,对于密集图像和长而详细的描述,语义向量不具备代表性,因为包含的概念太多。

一种新型的评估方法是基于问题的指标,从描述中生成问题,并使用这些问题评估所提出的描述,有助于全面评估文本到图像模型。

受到DSG和DPG-bench的启发,研究人员提出了一种反向的图像描述评估方法,在17个图像类别中生成「是-否」问答对:通用、图像类型、文本、颜色、位置、关系、相对位置、实体、实体大小、实体形状、计数、情感、模糊、图像伪影、专有名词(世界知识)、调色板和色彩分级。

在评估过程中,使用语言模型仅基于候选描述回答问题,答案选项为「是」、「否」和「不适用」。

CapsBench包含200张图像和2471个问题,平均每张图像12个问题,覆盖电影场景、卡通场景、电影海报、邀请函、广告、休闲摄影、街头摄影、风景摄影和室内摄影。

实验结果

文生图参数量升至240亿!Playground v3发布:深度融合LLM,图形设计能力超越人类

研究人员对比了Ideogram-2(左上),PGv3(右上)和Flux-pro(左下),当以缩略图形式查看时,3个模型的图像看起来相似,定性差异很小。

当放大检查细节和纹理时,就能看出明显区别:Flux-pro生成的皮肤纹理过于平滑,类似于3D渲染的效果,不够真实;Ideogram-2提供了更真实的皮肤纹理,但在遵循提示词方面表现不好,提示词很长的情况下,就会丢失关键细节。

相比之下,PGv3在遵循提示和生成真实图像方面都表现出色,还展现出明显优于其他模型的电影质感。

指令遵循

彩色文本代表模型未能捕捉到的具体细节,可以看到PGv3始终能够遵循细节。随着测试提示变长,并包含更多详细信息时,PGv3的优势变得尤为明显,研究人员将这种性能提升归功于我们集成了大型语言模型(LLM)的模型结构和先进的视觉-语言模型(VLM)图像描述系统。

文本渲染

模型能够生成各种类别的图像,包括海报、logo、表情包、书籍封面和演示幻灯片,PGv3还能够复现带有定制文本的表情包,并凭借其强大的提示遵循和文本渲染能力,创造出具有无限角色和构图的全新表情包。

RGB颜色控制

PGv3在生成内容中实现了异常精细的颜色控制,超越了标准调色板,凭借其强大的提示遵循能力和专业训练,PGv3使用户能够使用精确的RGB值精确控制图像中每个对象或区域的颜色,非常适合需要精确颜色匹配的专业设计场景。

多语言能力

得益于语言模型天生能够理解多种语言,并构建出良好的相关词表示,PGv3能够自然地解释各种语言的提示,并且多语言能力仅通过少量的多语言文本和图像对数据集(数万张图像)就足够了。

以上内容为资讯信息快照,由td.fyun.cc爬虫进行采集并收录,本站未对信息做任何修改,信息内容不代表本站立场。

快照生成时间:2024-10-08 11:45:07

本站信息快照查询为非营利公共服务,如有侵权请联系我们进行删除。

信息原文地址:

...新英特尔酷睿Ultra9处理器,带来强大的AI性能,秒间完成文生文、文生图等AIGC创作任务,让办公创作变得更加智能
2024-05-06 21:43:00
Adobe推视频生成大杀器!最长生成5秒视频,一键重拍成为现实,已开放公测
...件Adobe Creative Cloud的多款应用中,包括修图软件PS、矢量图形设计软件Illustrator、内容创作工具Adobe Express和视频编辑软件Premiere Pro等
2024-10-17 09:52:00
...、古镇巷子里迎接龙灯的男女老少……这些由Sora(一款文生视频模型)生成的视频效果足以“乱真”。当地时间2月15日,OpenAI (一家海外人工智能公司)推出旗下首个文生视频
2024-03-04 09:42:00
...新英特尔酷睿Ultra9处理器,带来强大的AI性能,秒间完成文生文、文生图等AIGC创作任务,让办公创作变得更加智能
2024-08-31 08:37:00
...参数大语言模型、AI绘画工具StableDiffusion,秒速完成内容文生文、文生图等创作内容。它还进一步优化了剪映智能抠图功能
2024-04-25 15:03:00
比人工智能更可怕的是……
...20多年里,人工智能算法领域涌现了许多灵魂人物,例如深度学习之父辛顿。他引入了一个算法,叫“反向传播算法”,这是一个比较复杂的算法。还有纽约大学的一位教授,叫杨立昆,现在还非
2023-08-12 13:56:00
文生视频让自动驾驶看到新方向
...文转自:广州日报港科大(广州)人工智能专家陈颖聪:文生视频让自动驾驶看到新方向来源:视觉中国陈颖聪近年来,生成式人工智能在AI技术应用中成为焦点,尤其是文本生成视频大模型So
2024-03-14 05:26:00
从开箱到实战:360°解锁宁畅W350 G50算力黑科技!
...50G50表现依旧强劲!在单张NVIDIARTX™4000AdaGPU支持下,利用文生图模型SD生成140张512*512尺寸图片
2024-06-28 12:45:00
Sora为何没能诞生在中国?
...迹”的再次验证发布Sora之前,OpenAI并未向外界透露入局文生视频的想法。直到今年年初,全球文字生成视频赛道的焦点
2024-03-19 05:31:00
更多关于科技的资讯:
“内容重构论”引短剧行业共鸣
当“反转”“爽点”不再能轻易留住观众,微短剧行业正迎来一场深层重构。到2024年中,中国微短剧用户规模已接近7亿,市场体量超过500亿元
2025-10-29 14:01:00
鲸鸿动能亮相中国国际广告节&亚洲广告大会,全场景AI驱动增长
10月24日,第32届中国国际广告节&第34届亚洲广告大会在北京举办,鲸鸿动能受邀出席,并发表主题演讲《从孤岛到共生
2025-10-29 11:21:00
如何选择适合你的视频画质修复工具
在数字时代,视频已成为我们记录生活、创作内容和保存记忆的重要载体。然而由于拍摄设备限制、保存条件或传输压缩,我们常常面临视频模糊
2025-10-29 11:22:00
精工匠心极致服务!2025年小蓝翼杯全品类服务技术比武大赛圆满落幕
10月23日,2025年“小蓝翼”杯全品类服务技术比武大赛在TCL空调武汉智能工厂举行。其中,空调品类经过30个战区初赛
2025-10-29 11:30:00
‌2025年10月27日‌——上海联舌工坊科技有限公司今日正式于杨浦区完成注册,此举被视为其深化资本市场布局的关键一步
2025-10-29 12:37:00
三星电视荣登天猫艺术电视榜单 双十一钜惠助力消费者轻松解锁艺术家居生活
在消费焕新浪潮席卷家居领域、美学需求成为当代家庭核心诉求的当下,三星凭借对前沿科技与生活美学的深度解构与融合,始终站在全球艺术电视品类发展的潮头
2025-10-29 12:40:00
河北新闻网讯(吴建春)近日,由河北天翼科贸发展有限公司(简称“河北天翼”)为一家农业融资担保公司量身打造的在线收付款业财一体化项目
2025-10-29 13:31:00
宝宝巴士回应APP出现不良广告:严处审核负责人 研发广告强制拦截功能
华商网讯 10月29日,针对“宝宝巴士App出现不良广告”一事,宝宝巴士官方微信公众号发布致歉及整改声明。根据声明,对于近期用户关注的宝宝巴士App产品跳转不良广告一事
2025-10-29 13:40:00
米兰冬奥倒计时100天 国际奥委会携手阿里巴巴首次推出五环系列首饰
2026年米兰·科尔蒂纳冬奥会开幕倒计时100天之际,奥林匹克天猫官方旗舰店独家首发米兰冬奥会系列商品。同时,国际奥委会首次推出奥林匹克五环系列首饰
2025-10-29 13:47:00
王玉宝:于商业迷途中寻一盏不灭的心灯
鲁网10月29日讯踏入儒商研究会的大门,已是一载有余。今日静坐回望,恍然惊觉,这段旅程并非寻常的“加入一个组织”,倒更像是一场在商业迷途中的精神返乡
2025-10-29 13:51:00
2025上海国际压缩机展开幕 ,美的楼宇科技赋能工业制造绿色升级
10月28日-31日,2025上海国际压缩机及设备展览会(以下简称“上海国际压缩机展”)在上海新国际博览中心举办。作为核心参展商
2025-10-29 12:41:00
深圳首宗!医疗健康数据产品场内交易,十年临床数据为手术机器人研发注入“燃料”
经过严格匿名化处理和多轮合规审查,在严格遵守隐私保护的红线下,医疗数据也可以“活”起来,成为驱动AI技术发展的“燃料”
2025-10-29 12:38:00
为进一步推动国产雪茄高质量发展,持续提升阜阳市场“懂雪茄、会养护、善营销”的零售客户雪茄经营能力,提升服务质量,重振经营信心
2025-10-29 12:39:00
富士胶片X-SPACE迎来七周年朋友月 胶片模拟色彩配方书籍特别发布
2025年10月,富士胶片(中国)投资有限公司旗下X-SPACE富士胶片影像空间(以下简称"X-SPACE")迎来成立七周年
2025-10-29 10:59:00
河北纳科生物科技有限公司专利获雄安高价值专利大赛银奖
河北新闻网讯(钟蕾)近日,推进京津冀知识产权高质量发展暨2025・雄安高价值专利大赛颁奖活动在雄安新区举行。石家庄高新区优秀创新企业河北纳科生物科技有限公司凭借其核心专利“重组人胶原蛋白的制备和产业化应用”
2025-10-29 11:11:00