• 我的订阅
  • 科技

零成本突破多模态大模型瓶颈!多所美国顶尖高校华人团队,联合推出自增强技术CSR

类别:科技 发布时间:2024-06-21 09:21:00 来源:新智元

零成本突破多模态大模型瓶颈!多所美国顶尖高校华人团队,联合推出自增强技术CSR

新智元报道

编辑:LRST

【新智元导读】现有多模态大模型在对齐不同模态时面临幻觉和细粒度感知不足等问题,传统偏好学习方法依赖可能不适配的外源数据,存在成本和质量问题。Calibrated Self-Rewarding(CSR)框架通过自我增强学习,利用模型自身输出构造更可靠的偏好数据,结合视觉约束提高学习效率和准确性。

多模态大模型展现出了多种多样的能力,这些能力都通过SFT和预训练从庞大的训练数据集中学习。

但是模态之间的简单对齐可能会使得模型存在幻觉,细粒度图像感知能力差等各种问题。

已有的多模态大模型对齐方案一般采用DPO,POVID等偏好优化方法,或是蒸馏 GPT-4等昂贵闭源模型的方式来提升模型能力。

这些方法大多需要外源模型数据,这些数据构造存在很多问题,一是需要昂贵的价格,二是缺乏质量和多样性的保证。

再者说,这真的适合需要提升模型本身的分布偏好吗?

在Calibrated Self-Rewarding Vision Language Models文中,通过模型自身输出概率证明了,外来模型构造的偏好数据可能不适合用于模型的偏好学习,相较于模型自身的response,外源模型所构造的数据模型自己说出的概率很小,简单来说对于偏好数据中的负样本模型并不会犯一样的错误,对于偏好数据中的正样本模型也不会讲出那么好的response。

这种偏好数据用于偏好学习可能会引入模型自身分布的偏差导致其他错误,同时因为模型自身说同样话的概率低,用这样的数据来偏好学习增强模型收益很小。

零成本突破多模态大模型瓶颈!多所美国顶尖高校华人团队,联合推出自增强技术CSR

同时传统纯文本大模型领域的Self-rewarding范式存在一定缺陷。

零成本突破多模态大模型瓶颈!多所美国顶尖高校华人团队,联合推出自增强技术CSR

在此前self rewarding提供reward的模型是模型自身,当模型自身无法准确分辨偏好、所具有的知识不够强大的时候,它所提供的反馈可能不够精准或者没用导致所更新的模型的分布无法向着目标分布更新。

为了解决上述问题,来自UNC ,芝加哥大学,UMD和罗格斯大学的研究团队提出了Calibrated Self-Rewarding(CSR),多模态大模型的自我增强因为会存在一个真实图像的参照,这会使得self-rewarding的过程更加可靠。

零成本突破多模态大模型瓶颈!多所美国顶尖高校华人团队,联合推出自增强技术CSR

论文地址: https://arxiv.org/pdf/2405.14622

项目地址:https://github.com/YiyangZhou/CSR

项目页面:https://dongjie-cheng.github.io/CSR.html

整个Calibrated Self-Rewarding(CSR)框架如下:

零成本突破多模态大模型瓶颈!多所美国顶尖高校华人团队,联合推出自增强技术CSR

1. 通过模型本身在beam search过程中的输出构造偏好数据对,过程中的奖励来自于校准的自我奖励:LVLM对于每句话的自我生成概率 + 结合视觉约束奖励,用于奖励校准。

2. 基于每一轮构造的偏好数据在线通过DPO迭代学习。

实验

CSR相较于数据驱动的偏好学习对齐方法和模型自我反馈的方法均有较大提升。

零成本突破多模态大模型瓶颈!多所美国顶尖高校华人团队,联合推出自增强技术CSR

更值得注意的是,在CSR多轮在线迭代过程中,模型能逐步提升自我能力!可以看到在多个轮次中以LLaVA-1.5为例,模型在多个benchmark上的均分逐步提升。

零成本突破多模态大模型瓶颈!多所美国顶尖高校华人团队,联合推出自增强技术CSR

同时也可以看到特别是幻觉,在多轮迭代中是逐步减少的:

零成本突破多模态大模型瓶颈!多所美国顶尖高校华人团队,联合推出自增强技术CSR

同时CSR也适用于其他模型,例如Vila:

零成本突破多模态大模型瓶颈!多所美国顶尖高校华人团队,联合推出自增强技术CSR

那么在Calibrated Self-Rewarding(CSR)的过程中究竟发生了什么呢?通过可视化经过CSR迭代前后模型自身的正样本和负样本输出可以发现,经过多轮CSR学习后,模型自身说出的回复会有更高的分数:这代表模型的response更加符合图像信息;同时负样本和正样本的gap更小:这说明模型所输出的负样本倾向于正样本,模型的误差和性能下界提升。

零成本突破多模态大模型瓶颈!多所美国顶尖高校华人团队,联合推出自增强技术CSR

通过可视化attention可以看到,CSR能使得LVLM更加偏重于视觉模型,同时能缓解文本attention中存在的上下文依赖问题。

零成本突破多模态大模型瓶颈!多所美国顶尖高校华人团队,联合推出自增强技术CSR

以上内容为资讯信息快照,由td.fyun.cc爬虫进行采集并收录,本站未对信息做任何修改,信息内容不代表本站立场。

快照生成时间:2024-06-21 12:45:19

本站信息快照查询为非营利公共服务,如有侵权请联系我们进行删除。

信息原文地址:

平安产险在ICDAR2025国际多模态理解竞赛中强势夺冠,连续4年荣获国际顶尖赛事冠军!
...世界顶级赛事中,平安产险(参赛团队名称PA-VCG)在“多模态文档推理理解”这一高复杂度任务中,凭借领先的大模型技术体系与卓越的多模态理解能力,从全球众多顶尖科研机构与知名科
2025-06-17 17:47:00
中国也有Sora同款训练架构公司,清华班底,智谱也投了 | 36氪首发
...也出现了大模型独角兽智谱AI的身影。36氪获悉,近日多模态AI模型公司生数科技完成新一轮数亿元融资。该轮融资由启明创投领投,达泰资本、鸿福厚德、智谱AI、老股东BV百度风投和
2024-03-14 15:12:00
...国AI产业规划的路线图,就是通过大量堆砌算力,建立多模态通用大模型。同时,其压制中国AI发展的思路,也是通过限制芯片这一算力的核心而来。 但经过两年发展,美国限制措施并没有取
2024-12-30 06:40:00
全球顶尖人工智能科学家加盟 阿里AI To C业务布局再提速
...出任阿里集团副总裁,向吴嘉汇报,负责AI To C业务的多模态基础模型及Agents相关基础研究与应用解决方案。近期
2025-02-08 18:48:00
国际首个,我国团队开发糖尿病诊疗多模态大模型 DeepDR-LLM
...构建了全球首个面向糖尿病诊疗的视觉-大语言模型的多模态集成智能系统 DeepDR-LLM,成果于 2024 年 7 月 19 日在 Nature Medicine 发表(题为
2024-07-26 09:27:00
AIGC+机器人=具身智能?硅谷最酷的两个男人不谋而合 A股预演“下个浪潮”
...潮将是“具身智能”,他也公布了Nvidia VIMA,这是一个多模态具身人工智能系统,能够在视觉文本提示的指导下执行复杂的任务。反映在A股二级市场上,今日,相关标的强势上涨,
2023-05-18 19:00:00
200余位顶尖学者和产业专家共议人工智能热点问题
...源研究院院长王仲远介绍了智源研究院在语言大模型、多模态大模型、具身大模型和生物计算大模型的前沿探索和研究进展,以及大模型全栈开源技术基座的迭代升级与版图布局。王仲远表示,未来
2024-06-14 22:21:00
创新工场李开复:AI 2.0已至,将诞生新平台并重写所有应用
...的重大突破之后,AI 已经来到从 1.0 迈入 2.0 的拐点。多模态、巨型数据集的飞速发展,AI 优化目标函数及训练模型的技术方法将大幅精进
2023-03-14 11:08:00
GPT-4V暴露致命缺陷?JHU等发布首个多模态ToM 测试集
...来自 JHU, NYU, MIT, Harvard 等机构的研究团队开创了第一个多模态的 ToM 测试基准,发现现有的多模态模型和 LLM 都表现存在系统性缺陷
2024-09-12 09:45:00
更多关于科技的资讯:
龙头链主“挂帅” 合肥“创投城市计划”升级
大皖新闻讯 9月16日,随着“科聚零碳-科大硅谷全球合伙人走进零碳中心暨‘创投城市计划’新能源投资路演对接会”的举办,合肥“创投城市计划”实现全面升级
2025-09-18 15:31:00
9月8日,一位客户神色匆匆地来到行唐联社只里信用社,称需为父母办理社保卡开通业务,且次日就要报送账号用于打款。临柜工作人员接过相关资料
2025-09-18 11:19:00
【儒商巡礼】德州彩诗禾纺织有限公司董事长王波: 深耕纺织,“织”出新篇
鲁网9月18日讯(记者 吴美琳)从贸易领域起步,到自建实体工厂,再到打造差异化绿色纺织品牌,他始终以“进取”“守正”“仁爱”为底色
2025-09-18 11:28:00
本报讯 日前,中国文房四宝协会市场研究与督导专业委员会(以下简称“专委会”)“跨界赋能・智创未来”专题研学活动,在北京新发地农产品批发市场举办
2025-09-18 11:40:00
□ 左 鲤日前,上海博物馆以“清雍正粉彩蝠桃纹橄榄瓶”为原型设计的蝠桃瓶发光冰箱贴引发争议。有网友认为该文创产品的瓶底开孔与发光设计
2025-09-18 11:40:00
当前,人工智能、虚拟现实(VR)、超高清、多模态等新科技,正以“体验重构者”“需求激活者”“边界拓展者”的角色,为旅游新消费注入强劲动能
2025-09-18 11:45:00
第三届#SpainFoodNation峰会推动西班牙美食参与中国市场
近日,西班牙对外贸易发展和投资局(ICEX)携手西班牙农业渔业和食品部(MAPA)在上海举办了第三届#SpainFoodNation峰会
2025-09-18 11:46:00
山东九羊集团携钢铁大模型亮相全省“人工智能+”创新应用工作会议
9月17日,山东省“人工智能+”创新应用工作会议在济南举行。作为“人工智能+钢铁”领域的企业代表,山东九羊集团有限公司(以下简称山东九羊集团)受邀现场演示钢铁大模型应用实践
2025-09-18 12:27:00
浪潮助力四川教育大数据平台荣获IDC中国未来企业大奖·智慧城市特别奖
9月5日,2025 IDC中国未来企业大奖优秀奖名单正式揭晓,由四川省教育信息化与大数据中心主办,浪潮软件技术支持的“四川省教育大数据平台”建设项目荣获“2025 IDC中国未来企业大奖优秀奖”
2025-09-18 12:28:00
“痛金”让年轻人“上头” 黄金消费刮起“二次元风”
消费日报网讯(记者牛夏风)从“痛车”“痛包”到“痛衣”,“万物皆可痛”的风又吹到了黄金饰品上。“吉伊卡哇”联名款、《天官赐福》联名款
2025-09-18 13:17:00
海南三亚信兴超级体验店重装开业 多重优惠惠及消费者
消费日报网讯(记者郑红梅)9月19日至21日,海南三亚信兴电器超级体验店将迎来重装升级后的盛大开业。此次开业活动以“多重优惠叠加”为核心
2025-09-18 13:18:00
深信服AD以技术之力铸业务之基,稳居IDC市场份额第一
近日,国际数据公司(IDC)发布最新报告,深信服AD斩获2025Q2中国负载均衡市场占有率第一。这已是深信服AD连续多个季度领跑市场
2025-09-18 13:51:00
不差钱的腾讯,也开始借钱了?
A时隔四年后,腾讯再次发债,首发点心债。腾讯控股在港交所公告称,于2025年9月16日,公司已与经办人就根据计划发行本金总额90亿元的票据订立认购协议
2025-09-18 09:01:00
从“客户”到“伙伴”,济宁银行全周期金融服务构建财富管理新生态
鲁网9月18日讯济宁银行坚守“金融为民”初心,不断创新金融产品,完善服务渠道,努力为客户提供更加专业、更有温度的金融服务
2025-09-18 10:53:00
厦门网讯(厦门日报记者 林露虹)作为2025厦门国际动漫节配套活动,第三届游戏创业者路演系列活动(简称“游路演”)将于10月29日至30日举行
2025-09-18 08:20:00