- 我的订阅
- 科技
我们正处于一个信息大暴发的时代，每天都能产生数以百万计的新闻资讯！
虽然有大数据推荐，但面对海量数据，通过我们的调研发现，在一个小时的时间里，您通常无法真正有效地获取您感兴趣的资讯！
头条新闻资讯订阅，旨在帮助您收集感兴趣的资讯内容，并且在第一时间通知到您。可以有效节约您获取资讯的时间，避免错过一些关键信息。
苹果发布新型开源人工智能模型：可根据自然语言指令编辑图像
2月8日消息，相比较微软的风生水起，苹果公司在AI领域的布局显得低调很多，但这并不意味着苹果在该领域就没有丝毫建树。苹果公司近日发布了名为“MGIE”的新型开源人工智能模型，它可以根据自然语言指令编辑图像。
图源：VentureBeat与Midjourney合作制作
MGIE的全称是MLLM-GuidedImageEditing，利用多模态大型语言模型（MLLM）解释用户指令并执行像素级操作。MGIE可以理解用户下达的自然语言命令，进行Photoshop风格的修改、全局照片优化和局部编辑等操作。
苹果公司和加州大学圣巴巴拉分校研究人员合作，在2024年国际学习表征会议（ICLR）上发表MGIE相关研究成果，而ICLR是人工智能研究的顶级会议之一。
介绍MGIE之前，IT之家先来介绍下MLLM。MLLM是一种强大的人工智能模型，可以同时处理文本和图像，从而增强基于指令的图像编辑能力。MLLMs在跨模态理解和视觉感知响应生成方面表现出卓越的能力，但尚未广泛应用于图像编辑任务。
MGIE通过两种方式将MLLMs集成到图像编辑过程中：首先，它使用MLLMs从用户输入中推导出富有表现力的指令。这些指令简洁明了，为编辑过程提供了明确的指导。
例如，当输入“让天空更蓝”时，MGIE可以生成“将天空区域的饱和度提高20%”的指令。
其次，它使用MLLM生成视觉想象力，即所需编辑的潜在表征。这一表征捕捉了编辑的本质，可用于指导像素级操作。MGIE采用了一种新颖的端到端训练方案，可联合优化指令推导、视觉想象和图像编辑模块。
MGIE可以处理各种编辑情况，从简单的颜色调整到复杂的对象操作。该模型还可以根据用户的偏好执行全局和局部编辑。MGIE的部分特性和功能包括：
基于指令的表达式编辑：MGIE可以生成简洁明了的说明，有效指导编辑过程。这不仅能提高编辑质量，还能增强用户的整体体验。
Photoshop风格修改：MGIE可以执行常见的Photoshop风格编辑，如裁剪、调整大小、旋转、翻转和添加滤镜。该模型还可以应用更高级的编辑，如更改背景、添加或删除对象以及混合图像。
全局照片优化：MGIE可以优化照片的整体质量，如亮度、对比度、清晰度和色彩平衡。该模型还能应用素描、绘画和漫画等艺术效果。
局部编辑：MGIE可以编辑图像中的特定区域或对象，如脸部、眼睛、头发、衣服和配饰。模型还可以修改这些区域或对象的属性，如形状、大小、颜色、纹理和风格。
MGIE是GitHub上的一个开源项目，用户可以点击这里找到代码、数据和预训练模型。该项目还提供了一个演示笔记本，展示如何使用MGIE完成各种编辑任务。
以上内容为资讯信息快照，由td.fyun.cc爬虫进行采集并收录，本站未对信息做任何修改，信息内容不代表本站立场。
快照生成时间：2024-02-09 09:45:05
本站信息快照查询为非营利公共服务，如有侵权请联系我们进行删除。
信息原文地址：
