• 我的订阅
  • 科技

GPT-4V暴露致命缺陷?JHU等发布首个多模态ToM 测试集

类别:科技 发布时间:2024-09-12 09:45:00 来源:机器之心Pro

AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年,机器之心AIxiv专栏接收报道了2000多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术交流与传播。如果您有优秀的工作想要分享,欢迎投稿或者联系报道。投稿邮箱:liyazhou@jiqizhixin.com;zhaoyunfeng@jiqizhixin.com

本文第一作者为 Chuanyang Jin (金川杨),本科毕业于纽约大学,即将前往 JHU 读博。本文为他本科期间在 MIT 访问时的工作,他是最年轻的杰出论文奖获得者之一。本文的指导老师为 Tianmin Shu (舒天民),JHU 助理教授,Social Cognitive AI Lab 的主任。博士师从 UCLA 朱松纯教授,在 MIT 完成博后,致力于构建能够在现实世界中理解、推理和与人类互动的社会智能系统,从而推进以人为中心的 AI。本文另外两位指导老师 Joshua B. Tenenbaum、Antonio Torralba 为 MIT 著名教授,google scholar 引用量均在 10 万以上。

心智能力(Theory of Mind,ToM),即理解人们思维的能力,是开发具有类人社会智能的 AI 模型的重要基础。

近日,来自 JHU, NYU, MIT, Harvard 等机构的研究团队开创了第一个多模态的 ToM 测试基准,发现现有的多模态模型和 LLM 都表现存在系统性缺陷,同时他们提出了一种有效的新方法。在刚结束的 ACL 2024 会议中,这篇论文获得杰出论文奖。

GPT-4V暴露致命缺陷?JHU等发布首个多模态ToM 测试集

论文标题:MMToM-QA: Multimodal Theory of Mind Question Answering 论文地址: https://arxiv.org/abs/2401.08743 网站: https://chuanyangjin.com/mmtom-qa 代码: https://github.com/chuanyangjin/MMToM-QA

MMToM-QA

第一个多模态的 ToM benchmark

先前所有心智能力的测试基准都是单一模态的。MMToM-QA 是第一个多模态的心智能力测试基准。其中每个问题包含三部分:一个人的活动视频,环境和人类动作的文字描述与一个 ToM 问题。

GPT-4V暴露致命缺陷?JHU等发布首个多模态ToM 测试集

视频链接:https://mp.weixin.qq.com/s/fRa138rmFsv8W8JOYcsAPA

此前,大部分的心智能力测试基准都使用较简单的模版,文字或视频的长度很短。MMToM-QA 要求在更长的上下文下,更复杂多样的环境下系统性衡量模型的心智能力。既考察 belief(人们所认为的),也考察 goal(人们的目标)。

GPT-4V暴露致命缺陷?JHU等发布首个多模态ToM 测试集

为了生成这些视频,该团队使用 VirtualHome-Social 模拟器来中生成一系列人物动作,并渲染合成视频。接下来,使用一个模型来跟踪记录在视频的每个时刻中 agent 所有可能的目标和想法,据此生成问题,并使用 GPT-4 生成改进问题的描述。

GPT-4V暴露致命缺陷?JHU等发布首个多模态ToM 测试集

Meta、MIT、CMU、JHU 的众多团队已使用 MMToM-QA 来研发与人合作的大模型、机器人等。

大模型集体翻车

GPT-4V 存在致命缺陷

在 MMToM-QA 上的实验结果显示,当人们可以使用不同模态的信息时,他们理解他人的能力会有所提升。在这种多模态条件下,在每个问题上大多数参与者都达成了一致意见,这验证了基准设计的有效性。

GPT-4V暴露致命缺陷?JHU等发布首个多模态ToM 测试集

相比之下,多模态模型和 LLM 的表现远不如人类。它们在所有问题类型上表现得像随机猜测一样。唯一的例外是 GPT-4V,当人们的信念与现实一致时它表现良好,但当涉及到人们持有错误信念或更新信念时,GPT-4V 会系统性犯错,并且在判断目标时表现较差。

以下是 GPT-4V 的一个失败案例。从视频和文本中可以看出,柜子里没有蛋糕,但女人却朝柜子走去,准备打开它。因此,正确答案应该是 「女人认为柜子里有一个蛋糕。」然而,GPT-4V 错误地使用了真实世界的状态来推断女人的想法,这表明 GPT-4V 无法区分信念和真实世界状态。

GPT-4V暴露致命缺陷?JHU等发布首个多模态ToM 测试集

BIP-ALM

小模型 + 逆向规划超过 GPT-4V

那么,我们该如何缩小 AI 模型和人类表现之间的差距?

该团队提出了一种新方法:BIP-ALM (Bayesian Inverse Planning Accelerated by Language Models)。该方法首先从视频和文字中提取出相同的符号表示,接着对这些表示进行对齐和融合,再使用逆向结合语言模型来推断各种心理状态的概率。

GPT-4V暴露致命缺陷?JHU等发布首个多模态ToM 测试集

以下是融合符号表示的方法。模型将从视频中提取特定时刻的场景关系图,识别人物与物体之间的关系,例如他们正在经过哪些物体或他们正朝哪些物品前进。由于摄像头视角的限制和遮挡,文本提供了这些可能无法直接从视频中观察的这些信息。

GPT-4V暴露致命缺陷?JHU等发布首个多模态ToM 测试集

贝叶斯逆向规划(Bayesian inverse planning)可以根据观察到的agent 的行为来推断其心理状态与潜在的信念和目标。先前的研究表明,贝叶斯逆向规划可以在简单情景下成功。然而,当状态空间变得很大时,计算每个可能信念和目标的概率变得非常复杂,导致计算瓶颈。下图中蓝色标出的部分就是一个计算瓶颈。为了加速这一过程,该团队使用了语言模型来估计每个时刻的心理状态的概率。

GPT-4V暴露致命缺陷?JHU等发布首个多模态ToM 测试集

先前的大模型和各种方法无论是在文本、视频、还是多模态版本的 MMToM-QA 上都表现较差,而 BIP-ALM 则展现了较好的结果。论文作者认为 BIP-ALM 得益于:(1)使用适用于不同模态信息的符号表示,(2)模仿人类心智推理的逆向规划方法具有很强的鲁棒性和可解释性,(3)语言模型具有很好的灵活性和可扩展性。

后续工作

走向多智能体的多模态心智模型

该团队提出了后续研究 MuMA-ToM: Multi-modal Multi-Agent Theory of Mind,将 MMToM-QA 的测试基准和方法拓展到了多个智能体的领域。

GPT-4V暴露致命缺陷?JHU等发布首个多模态ToM 测试集

论文标题:MuMA-ToM: Multi-modal Multi-Agent Theory of Mind 论文地址: https://arxiv.org/abs/2408.12574 网站: https://scai.cs.jhu.edu/projects/MuMA-ToM 代码: https://github.com/SCAI-JHU/MuMA-ToM

MuMA-ToM 关注多智能体的互动,考察它们的信念、社会目标、和对他人目标的信念,发现大型多模态模型 GPT-4o、Gemini-1.5 Pro 等依然表现糟糕。针对这些发现,研究团队进一步提出了改进的方法 LIMP (Language model-based Inverse Multi-agent Planning)。相比之前的方法,LIMP 使用自然语言而不是符号表示来提高通用性,并且能够利用任何预训练的大型语言模型,而 BIP-ALM 则要求开放权重的大型语言模型。

GPT-4V暴露致命缺陷?JHU等发布首个多模态ToM 测试集

以上内容为资讯信息快照,由td.fyun.cc爬虫进行采集并收录,本站未对信息做任何修改,信息内容不代表本站立场。

快照生成时间:2024-09-12 12:45:01

本站信息快照查询为非营利公共服务,如有侵权请联系我们进行删除。

信息原文地址:

多模态LLM视觉推理能力堪忧,浙大领衔用GPT-4合成数据构建多模态基准
...进模型在视觉推理方面同样不足。为此他们提出了一种多模态的视觉推理基准,并设计了一种新颖的数据合成方法。无论是语言模型还是视觉模型,似乎都很难完成更抽象层次上的理解和推理任务。
2024-08-08 16:23:00
多模态竞技场对标90B Llama 3.2!Pixtral 12B技术报告全公开
...客之姿杀入江湖的Mistral AI,在9月份甩出了自家的首款多模态大模型Pixtral 12B,如今,报告之期已至
2024-11-20 09:43:00
多模态模型评测框架lmms-eval发布!全面覆盖,低成本,零污染
...qizhixin.com随着大模型研究的深入,如何将其推广到更多的模态上已经成为了学术界和产业界的热点。最近发布的闭源大模型如 GPT-4o
2024-08-22 09:50:00
首个可保留情感的音频LLM!Meta重磅开源7B-Spirit LM,一网打尽「音频+文本」多模态任务
【新智元导读】Meta最近开源了一个7B尺寸的Spirit LM的多模态语言模型,能够理解和生成语音及文本,可以非常自然地在两种模式间转换,不仅能处理基本的语音转文本和文本转语音
2024-11-23 09:43:00
vivo发布自研大模型,为用户和开发者带来诸多惊喜
...随着大模型技术日益成熟,vivo在语言、图像、语音、多模态等全模态的AI技术上逐步升级为大模型能力,正从传统的AI技术时代迈向大模型AI技术时代。vivoAI算法技术总监李方
2024-10-14 01:53:00
反击OpenAI,谷歌放出最强悍大模型Gemini
... CEO戴密斯·哈萨比斯在谷歌官网联名发文,官宣了最新多模态大模型Gemini 1.0(双子星)版本正式上线。这个上线时间早于外界猜测的明年1月
2023-12-07 10:31:00
英伟达开源NVLM 1.0屠榜多模态!纯文本性能不降反升
【新智元导读】NVLM 1.0系列多模态大型语言模型在视觉语言任务上达到了与GPT-4o和其他开源模型相媲美的水平,其在纯文本性能甚至超过了LLM骨干模型,特别是在文本数学和编码
2024-09-24 13:36:00
MMMU华人团队更新Pro版!多模态基准升至史诗级难度:过滤纯文本问题、引入纯视觉问答
...候选选项、引入纯视觉输入设置)更严格地评估模型的多模态理解能力;模型在新基准上的性能下降明显,表明MMMU-Pro能有效避免模型依赖捷径和猜测策略的情况。多模态大型语言模型(
2024-09-18 13:31:00
马斯克 xAI 展示首个多模态模型 Grok-1.5V
...下旬推出 Grok-1.5 大语言模型之后,近日再次推出首个多模态模型 Grok-1.5 Vision。xAI 表示将于近期邀请早期测试者和现有的 Grok 用户测试 Grok-1
2024-04-13 16:20:00
更多关于科技的资讯:
36氪首发|掘金“微醺”社交经济,精酿品牌「TAGSIU」获近千万 Pre-A 轮融资
作者 | 李小霞36 氪获悉,精酿品牌「TAGSIU 醍宿酿造」(下称“TAGSIU”)已完成近千万 Pre-A轮融资
2025-09-04 22:09:00
从形态突破到生态跃迁:华为三折叠的「鸿蒙时刻」
三折叠这个赛道,或许只有华为能够超越华为。华为Mate XT 非凡大师发布一年之后,三折叠这片“无人区”,仍然只有华为的身影
2025-09-05 00:13:00
大众网记者 张田夏荫 实习记者 张智尧 报道海信集团总裁、海信视像科技股份有限公司董事长于芝涛正式以大赛形象大使与推介大使的身份
2025-09-04 10:04:00
第26届GOPS全球运维大会落幕,AI Infra赋能运维转型
2025年6月28日,为期两天的第26届GOPS全球运维大会暨研运数智化技术峰会在北京市圆满落幕。作为国内首个运维行业盛会
2025-09-04 11:33:00
三联家电“伙拼9.12”权益全解析!三重补贴省心省钱嗨购金秋
鲁网9月4日讯金秋家装季撞上三联家电第十一季“伙拼9.12”大型内购福利会!这场被万千家庭期待的消费盛宴即将引爆全城!多重补贴
2025-09-04 11:33:00
灵动集团旗下欢米粒心理:新学期,为青少年心理护航——以专业体系构建成长防护网
在青少年心理健康服务需求进入 “刚性增长期” 的当下,资质与专业双轮驱动成为行业发展的核心支撑。灵动生活集团作为《互联网心理服务・心理测评服务通用规范》国家标准制定委员单位
2025-09-04 11:55:00
金秀之光,宏瑶传承千年瑶浴的现代创新之路
金秀大瑶山的采药人每日清晨踏遍青山,采集当地草药。这些草药通过广西宏瑶生物科技股份有限公司(以下简称“宏瑶股份”)的现代研发与技术加工
2025-09-04 11:55:00
井壁稳定“智能分析师”:Biot - Coussy PORORI团队研发井壁失稳风险分析系统
在深层能源勘探开发不断推进的背景下,钻井工程常面临地质条件复杂、井下环境多变等严峻挑战。其中,井壁失稳是导致钻井周期延长
2025-09-04 12:08:00
锦纶新材料首秀!南山智尚亮相2025中国国际纺织面料及辅料(秋冬)博览会
9月2日至4日,2025中国国际纺织面料及辅料(秋冬)博览会在上海国家会展中心举行。南山智尚(股票代码:300918)及旗下锦纶新材料公司共同亮相
2025-09-04 12:11:00
36氪2025 AI Partner百业大会 | 思必驰定义对话式AI新价值
AI浪潮席卷千行百业,“中国式方案”正在无声地改写着全球科技产业版图,实现“AI+”与千行百业的深度赋能。日前,36氪与中欧国际工商学院联合主办2025 AI Partner百业大会
2025-09-04 13:56:00
【宅男财经|专家面对面】近期“最快女护士”马拉松跑者张水华因赛后言论持续引发讨论。据澎湃新闻报道,基于双方发展路径的调整
2025-09-04 14:19:00
36氪:当运动消费提出“既要价值又要价格”,迪卡侬找到了解题思路
"让每个人都能享受运动的快乐"。在大健康与情绪消费等推动下,运动正成为新一轮零售增长引擎。国家统计局数据显示,今年前两个月
2025-09-04 14:26:00
再登 “福布斯中国最佳雇主”榜单,施耐德电气以数智人才引领行业发展
日前,福布斯中国公布了“2025福布斯中国·最佳雇主”系列评选结果。施耐德电气凭借在人才培养、文化建设、战略布局等方面的卓越影响力和丰硕成果
2025-09-04 14:27:00
Polartec® AirCore™:以空气之力,突破性能边界
Polartec 作为美利肯公司旗下品牌,一直以推动更可持续、更具创新性的纺织解决方案而闻名。如今,我们自豪地推出革命性产品
2025-09-04 15:27:00
卡游”一月双展”亮相雅加达与东京 差异化布局海外市场‌
2025年8月,中国泛娱乐领军企业卡游(KAYOU)以“一月双展”的联动加速全球化进程。继8月20日亮相2025 IBTE雅加达国际玩具展
2025-09-04 16:22:00