• 我的订阅
  • 科技

谷歌发布 MediaPipe Diffusion 插件

类别:科技 发布时间:2023-07-13 05:54:00 来源:浅语科技

谷歌发布低成本可控文生图插件模型MediaPipeDiffusion,移动端提速20+倍,在v100上运行提速高达100倍。

谷歌发布 MediaPipe Diffusion 插件

近年来,扩散模型在文本到图像生成方面取得了巨大的成功,实现了更高图像生成质量,提高了推理性能,也可以激发扩展创作灵感。

不过仅凭文本来控制图像的生成往往得不到想要的结果,比如具体的人物姿势、面部表情等很难用文本指定。

谷歌发布 MediaPipe Diffusion 插件

最近,谷歌发布了MediaPipeDiffusion插件,可以在移动设备上运行「可控文本到图像生成」的低成本解决方案,支持现有的预训练扩散模型及其低秩自适应(LoRA)变体背景知识

基于扩散模型的图像生成过程可以认为是一个迭代去噪过程。

从噪声图像开始,在每个步骤中,扩散模型会逐渐对图像进行降噪以生成符合目标概念的图像,将文本提示作为条件可以大大提升图像生成的效果。

对于文本到图像生成,文本嵌入通过交叉注意层连接到图像生成模型上,不过仍然有部分信息难以通过文本提示来描述,比如物体的位置和姿态等。

为了解决这个问题,研究人员提出引入额外的模型添加到扩散模型中,在条件图像中注入控制信息。

常用的控制文生图方法包括:

1.即插即用(Plug-and-Play)用到去噪扩散隐式模型(DDIM)inversion方法,从输入图像开始反转生成过程来导出初始噪声输入,然后采用扩散模型(StableDiffusion1.5的情况下需要8.6亿参数)对来自输入图像的条件进行编码。

即插即用从复制的扩散中提取具有自注意力的空间特征,并将其注入到文本转图像的扩散过程中。

2.ControlNet会创建扩散模型编码器的一个可训练副本,通过零初始化参数后的卷积层连接,将传递到解码器层的条件信息进行编码。

3.T2IAdapter是一个较小的网络(7700万参数),在可控生成中可以实现类似的效果,只需要将条件图像作为输入,其输出在所有扩散迭代中共享。

不过T2I适配器模型并不是为便携式移动设备设计的。MediaPipeDiffusion插件

为了使条件生成更高效、可定制且可扩展,研究人员将MediaPipe扩散插件设计为一个单独的网络:

1.可插入(Plugable):可以很容易地与预训练基础模型进行连接;

2.从零开始训练(Trainedfromscratch):不使用来自基础模型的预训练权重;

3.可移植性(Portable):可以在移动设备上运行基础模型,并且推理成本相比原模型来说可以忽略不计。

谷歌发布 MediaPipe Diffusion 插件

即插即用、ControlNet、T2I适配器和MediaPipe扩散插件的对比,*具体数字会根据选用模型不同而发生变化

简单来说,MediaPipe扩散插件就是一个用于文本到图像生成的,可在便携式设备上运行的模型,从条件图像中提取多尺度特征,并添加到相应层次扩散模型的编码器中;当连接到文生图扩散模型时,插件模型可以向图像生成提供额外的条件信号。

插件网络是一个轻量级的模型,只有600万参数,使用MobileNetv2中的深度卷积和反向瓶颈(invertedbottleneck)在移动设备上实现快速推理。

谷歌发布 MediaPipe Diffusion 插件

MediaPipe扩散模型插件是一个单独的网络,输出可以插入到预训练的文本到图像生成模型中,提取的特征应用于扩散模型的相关下采样层(蓝色)。

与ControlNet不同,研究人员在所有扩散迭代中注入相同的控制功能,所以对于图像生成过程只需要运行一次插件,节省了计算量。

下面的例子中可以看到,控制效果在每个扩散步骤都是有效的,即使在前期迭代步中也能够控制生成过程;更多的迭代次数可以改善图像与文本提示的对齐,并生成更多的细节。

谷歌发布 MediaPipe Diffusion 插件

使用MediaPipe扩散插件进行生成过程的演示示例

在这项工作中,研究人员开发了基于扩散的文本到图像生成模型与MediaPipefacelandmark,MediaPipeholisticlandmark,深度图和Canny边缘的插件。

对于每个任务,从超大规模的图像-文本数据集中选择约10万张图像,并使用相应的MediaPipe解决方案计算控制信号,使用PaLI优化后的描述来对插件进行训练。

FaceLandmark

MediaPipeFaceLandmarker任务计算人脸的478个landmark(具有注意力)。

研究人员使用MediaPipe中的drawingutils来渲染人脸,包括脸部轮廓、嘴巴、眼睛、眉毛和虹膜,并使用不同的颜色进行表示。

下面这个例子展现了通过调节面网格和提示随机生成的样本;作为对比,ControlNet和Plugin都可以在给定条件下控制文本到图像的生成。

谷歌发布 MediaPipe Diffusion 插件

用于文本到图像生成的Face-landmark插件,与ControlNet进行比较。

HolisticLandmark

MediaPipeHolisticLandmark任务包括身体姿势、手和面部网格的landmark,可以通过调节整体特征来生成各种风格化的图像。

谷歌发布 MediaPipe Diffusion 插件

用于文本到图像生成的Holisticlandmark插件。

深度

谷歌发布 MediaPipe Diffusion 插件

深度插件的文本到图像生成。

CannyEdge

谷歌发布 MediaPipe Diffusion 插件

用于生成文本到图像的Canny-edge插件。评估

研究人员对facelandmark插件进行定量评估以证明该模型的性能,评估数据集包含5000张人类图像,使用的评估指标包括Fréchet起始距离(FID)和CLIP分数。

基础模型使用预训练的文本到图像扩散模型StableDiffusionv1.5

谷歌发布 MediaPipe Diffusion 插件

FID、CLIP和推理时间的定量比较

从实验结果中的FID和CLIP分数来看,ControlNet和MediaPipe扩散插件生成的样本质量比基础模型好得多。

与ControlNet不同,插件模型只需要为每个生成的图像运行一次,不需要在每个去噪步中都运行,所以推理时间只增加了2.6%

研究人员在服务器机器(使用NvidiaV100GPU)和移动端设备(GalaxyS23)上测量了三种模型的性能:在服务器上,使用50个扩散步骤运行所有三个模型;在移动端上,使用MediaPipe图像生成应用程序运行20个扩散步骤。

与ControlNet相比,MediaPipe插件在保持样本质量的同时,在推理效率方面表现出明显的优势。

谷歌发布 MediaPipe Diffusion 插件

插件在不同移动的设备上的推理时间(ms)总结

在这项工作中,研究人员提出了MediaPipe,一个可在移动端使用的、有条件的文本到图像生成插件,将从条件图像中提取的特征注入扩散模型,从而控制图像的生成过程。

便携式插件可以连接到在服务器或设备上运行的预训练的扩散模型,通过在设备上完全运行文本到图像生成和插件,可以更灵活地应用生成式AI

以上内容为资讯信息快照,由td.fyun.cc爬虫进行采集并收录,本站未对信息做任何修改,信息内容不代表本站立场。

快照生成时间:2023-07-13 09:45:33

本站信息快照查询为非营利公共服务,如有侵权请联系我们进行删除。

信息原文地址:

字节跳动发布文生图sdxl-lightning
...生图模型SDXL的改进版本,与开放模型社区的其他工具和插件兼容,SDXL-Lightning可以作为增速插件无缝整合到卡通
2024-02-24 10:57:00
研究人员提出版权授权方案,能将艺术家风格和IP版权授权给AIGC模型
...受很大影响的情况下,将模型生成特定风格的能力打包成插件,供模型使用者购买使用。尽管单纯地在生成式模型上添加特定风格已经被解决得很好,但他们更多关注的是已经被生成式模型学会的风
2024-06-24 09:13:00
【百度CTO王海峰:文心大模型3.5新增插件机制 使其具备生成实时准确信息的能力】《科创板日报》27日讯,百度首席技术官王海峰表示,文心大模型3.5最大的一个变化是新增了插件机制
2023-06-27 12:33:00
最伟大 Windows 降临,微软要用大模型彻底改变操作系统和交互
...将 AzureOpenAI 服务模型及其数据结合起来,并将其发布为插件。Azure Data 副总裁 Arun Ulagaratchagan 解释道
2023-05-24 14:00:00
复旦大学自然语言处理实验室上线升级版大型语言模型Moss
...术学院教授MOSS系统负责人邱锡鹏表示:“Moss是国内首个插件版开源对话大模型,将支持搜索引擎、图像生成、计算器、方程求解器等插件工具。”邱锡鹏对第一财经记者表示:“多模态
2023-04-24 00:43:00
Blender插件 专业版科幻场景模型深度贴图制作工具 Simple Scifi Pro
当前版本:4.5文件大小:1.14 GB支持版本:3.0+++SIMPLE SCIFI 是一种用于创建完整 32 位置换贴图和实例化几何体的系统化方法
2023-01-20 06:00:00
百度文心大模型 3.5 已支持插件,将逐步向开发者开放
...术官王海峰表示,文心大模型3.5最大的一个变化是新增了插件机制,默认的内置插件“百度搜索”,使得文心一言具备生成实时准确信息的能力;长文本摘要和问答插件“ChatFile”支
2023-06-27 22:18:00
开年抢跑AI赛道,Sora“截胡”字节
...了促进和简化AI机器人的开发过程,Coze目前集成了60多个插件,增强了Bot在信息检索、旅行协助、生产力、图像理解等领域的功能,“你可以直接将这些插件添加到Bot中,丰富B
2024-02-21 17:22:00
字节跳动豆包大模型发布,火山引擎全栈AI服务助力企业智能化转型
...面升级,升级后的火山方舟2.0将大幅提升模型效果、核心插件、系统性能以及平台体验,帮助企业推进大模型的价值创造。在插件和工具链上,方舟2.0升级了联网插件,提供头条抖音同款搜
2024-05-15 16:16:00
更多关于科技的资讯: