meta推出两款基于ai的图像编辑工具

11月20日消息，Meta昨日宣布为Facebook和Instagram推出两款基于AI的图像编辑工具，分别是“EmuEdit”和“EmuVideo”，适用领域包括照片和视频，目前Meta公布了这两项AI工具的更多信息，IT之家整理如下。

官方介绍称，EmuEdit模型仅用文字指令就可以准确编辑图像，而通过分解文字转视频（Text-to-Video，T2V）的生成过程，开发团队公布了一种名为EmuVideo的方法，可以改善最终生成视频的品质和多样性。

据悉，EmuEdit号称是一种创新的影像编辑方法，目的是要简化各种影音操作任务，为视频编辑提供更多功能与更高的精确度。

EmuEdit可以接受用户指令，进行各种形式的编辑，包括区域和全局编辑、移除和添加背景，也能够调整颜色并进行矢量图转换，或进行图像构成元素的检测和分割。

Meta表示，EmuEdit把视觉任务作为指令，纳入到所生成模型中，进而在视频生成和编辑中，提供更好的控制能力。研究人员指出，当前的图像编辑模型，通常会过度修改图像，或是修改不足，而EmuEdit的优势在于能够准确按照指令进行编辑。

Meta使用了1000万个合成数据集训练EmuEdit，号称是目前同类中规模最大的数据集，从而带来了更好的图像编辑能力，其中每个样本都包含图像输入、任务描述，以及目标输出图像。可使模型忠实地执行指令，产生“比当前所有竞品都要好的结果”。

而EmuVideo是一种简单且高效的文字转视频生成方法，该方法运用扩散模型，并以EmuEdit为基础。开发团队解释，这种通过生成视频的架构能够应对外界各种输入方式，包括文字、图像、图文组合等，此外EmuVideo也能接受文字类提示词，将用户提供的图像“动画化”，从而提供了“超越过去模型的能力”。

EmuVideo将影片生成过程拆分为两个步骤，首先是根据文字提示生成图像，然后基于文字和生成图像产生视频。这种拆分步骤的影片生成方法，让研究人员可以有效地训练生成模型。

研究人员进一步解释，EmuVideo与过去Make-A-Video等需要一系列深度生成模型的研究不同，EmuVideo更简单，仅使用2个扩散模型，就能生成512x512分辨率、每秒16FPS、长4秒钟的视频。

IT之家发现，Meta援引评估数据，证明EmuVideo生成的视频品质以及“遵循提示词的忠实程度”相对业内竞品更好。

在品质方面，有96％受访者偏好EmuVideo而非此前的Make-A-Video方案，而对于“提示词的忠实度”方面，EmuVideo获得了85％受访者的青睐。