财经观察：提升人机交互效率 多模态大模型易用性进一步推进

本文转自：人民网

人民网北京5月14日电 （焦磊、实习生张泊洋）陪人聊天、帮助分析工作中的问题并给出解决方案，甚至和人建立起情感羁绊……在科幻电影《Her》中，聊天机器人“Samantha”用充满智慧和幽默的回答展示出高度的智能性和适应性。当下，这些来自过去的科幻想象正加速照入现实中。

北京时间5月14日凌晨，美国科技公司OpenAI在春季发布会上发布了最新GPT-4o多模态大模型。据OpenAI公司首席技术官米拉·穆拉蒂（Mira Murati）介绍，GPT-4o可以接收文本、音频和图像的任意组合作为输入，并实时生成文本、音频和图像的任意组合进行输出，其中“o”代表“omni全能”。

一直以来，多模态人机交互便是AI领域重点研究发力方向之一。继文生视频大模型Sora之后，GPT-4o的发布迎合了业内对多模态大模型的更多期待。

模态即每一种信息的来源或形式。人们在信息获取、环境感知、知识学习与表达等方面都是采用多模态的输入、输出方式。业内分析认为，相比单模态，多模态大模型同时处理文本、图片、音频以及视频等多类信息，与现实世界融合度高，更符合人类接收、处理和表达信息的方式，与人类交互方式更加灵活，表现得更加智能，能够执行更大范围的任务。

作为面向未来人机交互范式的全新大模型，GPT-4o具有文本、语音、图像三种模态的理解力，并可以综合对话者语气和所处环境空间等因素进行回答，展现出了高度智能性。

发布会上，GPT-4o展示了多项多模态交互能力。在进行实时语音交流时，其响应极快，并且可以识别用户的语音情绪，语音有情感，还能用不同语言和多人同时交互。在语音的同时可以与视频实时交互，演示了一边聊天一边解答手写数学问题，以及实时交流阅读代码，指导编程、视频聊天等能力。

米拉·穆拉蒂表示，“这是我们第一次在易用性方面真正向前迈出了一大步。”

此前，大模型在各个领域的应用主要集中在文生文、文生图之上，今年初Sora的发布则推动文生视频领域进一步发展。业内分析表示，此次GPT-4o的发布，将促使多模态综合交互成为生成式AI的重点发展方向，进而提升人机交互效率，逐渐向AGI方向迈进。

国盛证券研报分析，GPT-4o是迈向更自然的人机交互的重大进步，新功能带来了崭新的多模态交互能力，通过新的端到端模型实现了体验上的新突破，有望在各类终端实现用户体验的最大化。

多模态大模型包含的图文、音频、视频内容数据量巨大，进而引发人们对算力供应的关注。业内分析认为，未来AI的发展对算力的需求将会是几何式增长，算力限制可能是影响生成式AI应用开放使用的重要因素，而算力的可获取性以及成本将是挑战之一。此外，多模态大模型还将带来更严峻的安全挑战。

米拉·穆拉蒂表示，在安全性问题上，GPT-4o通过过滤训练数据和通过训练后细化模型行为等技术，在跨模态设计中内置了安全性。OpenAI还创建了新的安全系统，为语音输出提供防护。

据介绍，用户可有数量限制地免费使用GPT-4o模型来进行数据分析、图像分析、互联网搜索、访问应用商店等操作。

OpenAI CEO山姆・奥特曼在发布会后表示，“我们将创造人工智能，然后其他人将使用它来创造各种令人惊奇的事物，我们所有人都会从中受益。”此外，他还表示OpenAI其他业务收入将帮助公司向数十亿人提供免费的人工智能服务。