超越扩散模型！自回归新范式仅需2.9秒就生成高质量图像

STAR团队 投稿自 凹非寺量子位 | 公众号 QbitAI

超越扩散模型！自回归范式在图像生成领域再次被验证——

中科大、哈工大、度小满等机构提出通用文生图模型STAR。

仅需2.9秒就可生成高质量图像，超越当前一众包括SDXL在内扩散模型的性能。

此外在生成图像真实度、图文一致性和人类偏好上均表现优秀。

来看看具体是如何做到的？

自回归通用文生图模型STAR

扩散模由于其高质量和多元的生成，一度在文生图领域占有主导地位。

它通过逐步的去噪过程，为图像生成提供了更强的稳定性和可控性，然而也导致生成过程极其耗时。

而自回归模型的潜力，在受到大语言模型启发下，开始在这一领域逐渐被探索。

比如VAR指出是因为自回归模型逐个预测token的行为不符合图像模态的特点，提出“next-scale prediction”范式，将视觉自回归建模为逐个预测更大尺度scale的token map。这一方式避免了原始基于next-token的自回归方案难以建模图像模态的问题，重新为视觉生成定义了新的自回归范式，从而使得生成的图像具有更高的真实度，不过仍然有很多局限，性能仍落后于扩散模型。

作者提出基于尺度的文生图自回归模型STAR，重新思考VAR中的“next-scale prediction”范式。

具体来说，所提出的STAR包括两部分：

增强的文本引导和改进的位置编码，以高效地实现高质量图像生成。

增强的文本引导

为了更好地处理各种复杂的文本描述并生成相应的图像，研究者提出几项关键解决方案：

1、文本特征作为起始token map，根据起始token map生成更高分辨率的token map这不仅增强了模型对新文本场景的适应性，确保模型可以泛化到新的文本提示，从整体上保证了文本描述与生成图像之间的一致性

2、在每个transformer层引入交叉注意力机制，从更精细的粒度控制图像生成，使得生成的图像更加精确地贴合文本。

具体网络格式如下：

归一化旋转位置编码（Normalized RoPE）

对于next-scale prediction范式，如何利用同一个transformer生成不同尺度的token map是一个重要的问题，随之而来的是如何编码这些token map中的tokens的位置。

传统的正余弦编码难以处理不同尺度的token map，同时编码多个尺度容易导致尺度之间的混淆。

可学习的绝对位置编码需要为每个尺度的token map学习对应的位置编码，导致额外的学习参数，提升了训练难度，尤其是大尺度情况下的训练变得更加困难；除此之外固定个数的位置编码限制了更大分辨率图像生成的可能。

研究者提出二维的归一化旋转位置编码（Normalized RoPE）

除此之外，这一新的位置编码不需要额外的参数，更易于训练，为更高分辨率图像生成提供了潜在的可能。

训练策略

研究者选择先在256*256图像上以较大的batch size训练生成，随后在512*512图像上微调，以获得512的生成结果。由于归一化位置编码，模型很快收敛，仅需少量微调即可生成高质量512分辨率图像。

相比目前的方法，所提出的STAR在FID，CLIP score和ImageReward上表现优异，体现了STAR良好的生成真实度，图文一致性和人类偏好。除此之外，STAR生成一张512分辨率的高质量图像仅需约2.9秒，相比现有的扩散文生图模型具有显著优势。

具体地，在MJHQ-30k上的FID达到4.73，超越了PixArt-α等模型；CLIP score达到0.291，与SDXL相当：

在ImageReward benchmark上，STAR达到了0.87的image reward，与领先的PixArt-α相当：

在人物摄影、艺术绘画、静物、风景等场景下均能获得很好的效果，生成的人脸、毛发、材质达到了令人惊叹的细节：

总的来说，STAR基于scale-wise自回归的方式，解决了VAR中存在的引导条件有限、位置编码不合理的问题，实现了更高效、性能更好的文本引导图像生成。

广泛的实验证明，所提出的方法在生成图像真实度、图文一致性和人类偏好上均表现优秀。仅需约2.9秒的时间内，在512分辨率图像生成上，实现超越先进的文生图扩散模型（PixArt-α、Playground、SDXL等）的性能。

基于自回归的STAR为目前diffusion支配的文本控制图像生成领域提供了新的可能。

项目网站：https://krennic999.github.io/STAR/

论文链接：https://arxiv.org/pdf/2406.10797