• 我的订阅
  • 科技

零成本突破多模态大模型瓶颈!多所美国顶尖高校华人团队,联合推出自增强技术CSR

类别:科技 发布时间:2024-06-21 09:21:00 来源:新智元

零成本突破多模态大模型瓶颈!多所美国顶尖高校华人团队,联合推出自增强技术CSR

新智元报道

编辑:LRST

【新智元导读】现有多模态大模型在对齐不同模态时面临幻觉和细粒度感知不足等问题,传统偏好学习方法依赖可能不适配的外源数据,存在成本和质量问题。Calibrated Self-Rewarding(CSR)框架通过自我增强学习,利用模型自身输出构造更可靠的偏好数据,结合视觉约束提高学习效率和准确性。

多模态大模型展现出了多种多样的能力,这些能力都通过SFT和预训练从庞大的训练数据集中学习。

但是模态之间的简单对齐可能会使得模型存在幻觉,细粒度图像感知能力差等各种问题。

已有的多模态大模型对齐方案一般采用DPO,POVID等偏好优化方法,或是蒸馏 GPT-4等昂贵闭源模型的方式来提升模型能力。

这些方法大多需要外源模型数据,这些数据构造存在很多问题,一是需要昂贵的价格,二是缺乏质量和多样性的保证。

再者说,这真的适合需要提升模型本身的分布偏好吗?

在Calibrated Self-Rewarding Vision Language Models文中,通过模型自身输出概率证明了,外来模型构造的偏好数据可能不适合用于模型的偏好学习,相较于模型自身的response,外源模型所构造的数据模型自己说出的概率很小,简单来说对于偏好数据中的负样本模型并不会犯一样的错误,对于偏好数据中的正样本模型也不会讲出那么好的response。

这种偏好数据用于偏好学习可能会引入模型自身分布的偏差导致其他错误,同时因为模型自身说同样话的概率低,用这样的数据来偏好学习增强模型收益很小。

零成本突破多模态大模型瓶颈!多所美国顶尖高校华人团队,联合推出自增强技术CSR

同时传统纯文本大模型领域的Self-rewarding范式存在一定缺陷。

零成本突破多模态大模型瓶颈!多所美国顶尖高校华人团队,联合推出自增强技术CSR

在此前self rewarding提供reward的模型是模型自身,当模型自身无法准确分辨偏好、所具有的知识不够强大的时候,它所提供的反馈可能不够精准或者没用导致所更新的模型的分布无法向着目标分布更新。

为了解决上述问题,来自UNC ,芝加哥大学,UMD和罗格斯大学的研究团队提出了Calibrated Self-Rewarding(CSR),多模态大模型的自我增强因为会存在一个真实图像的参照,这会使得self-rewarding的过程更加可靠。

零成本突破多模态大模型瓶颈!多所美国顶尖高校华人团队,联合推出自增强技术CSR

论文地址: https://arxiv.org/pdf/2405.14622

项目地址:https://github.com/YiyangZhou/CSR

项目页面:https://dongjie-cheng.github.io/CSR.html

整个Calibrated Self-Rewarding(CSR)框架如下:

零成本突破多模态大模型瓶颈!多所美国顶尖高校华人团队,联合推出自增强技术CSR

1. 通过模型本身在beam search过程中的输出构造偏好数据对,过程中的奖励来自于校准的自我奖励:LVLM对于每句话的自我生成概率 + 结合视觉约束奖励,用于奖励校准。

2. 基于每一轮构造的偏好数据在线通过DPO迭代学习。

实验

CSR相较于数据驱动的偏好学习对齐方法和模型自我反馈的方法均有较大提升。

零成本突破多模态大模型瓶颈!多所美国顶尖高校华人团队,联合推出自增强技术CSR

更值得注意的是,在CSR多轮在线迭代过程中,模型能逐步提升自我能力!可以看到在多个轮次中以LLaVA-1.5为例,模型在多个benchmark上的均分逐步提升。

零成本突破多模态大模型瓶颈!多所美国顶尖高校华人团队,联合推出自增强技术CSR

同时也可以看到特别是幻觉,在多轮迭代中是逐步减少的:

零成本突破多模态大模型瓶颈!多所美国顶尖高校华人团队,联合推出自增强技术CSR

同时CSR也适用于其他模型,例如Vila:

零成本突破多模态大模型瓶颈!多所美国顶尖高校华人团队,联合推出自增强技术CSR

那么在Calibrated Self-Rewarding(CSR)的过程中究竟发生了什么呢?通过可视化经过CSR迭代前后模型自身的正样本和负样本输出可以发现,经过多轮CSR学习后,模型自身说出的回复会有更高的分数:这代表模型的response更加符合图像信息;同时负样本和正样本的gap更小:这说明模型所输出的负样本倾向于正样本,模型的误差和性能下界提升。

零成本突破多模态大模型瓶颈!多所美国顶尖高校华人团队,联合推出自增强技术CSR

通过可视化attention可以看到,CSR能使得LVLM更加偏重于视觉模型,同时能缓解文本attention中存在的上下文依赖问题。

零成本突破多模态大模型瓶颈!多所美国顶尖高校华人团队,联合推出自增强技术CSR

以上内容为资讯信息快照,由td.fyun.cc爬虫进行采集并收录,本站未对信息做任何修改,信息内容不代表本站立场。

快照生成时间:2024-06-21 12:45:19

本站信息快照查询为非营利公共服务,如有侵权请联系我们进行删除。

信息原文地址:

中国也有Sora同款训练架构公司,清华班底,智谱也投了 | 36氪首发
...也出现了大模型独角兽智谱AI的身影。36氪获悉,近日多模态AI模型公司生数科技完成新一轮数亿元融资。该轮融资由启明创投领投,达泰资本、鸿福厚德、智谱AI、老股东BV百度风投和
2024-03-14 15:12:00
...国AI产业规划的路线图,就是通过大量堆砌算力,建立多模态通用大模型。同时,其压制中国AI发展的思路,也是通过限制芯片这一算力的核心而来。 但经过两年发展,美国限制措施并没有取
2024-12-30 06:40:00
全球顶尖人工智能科学家加盟 阿里AI To C业务布局再提速
...出任阿里集团副总裁,向吴嘉汇报,负责AI To C业务的多模态基础模型及Agents相关基础研究与应用解决方案。近期
2025-02-08 18:48:00
国际首个,我国团队开发糖尿病诊疗多模态大模型 DeepDR-LLM
...构建了全球首个面向糖尿病诊疗的视觉-大语言模型的多模态集成智能系统 DeepDR-LLM,成果于 2024 年 7 月 19 日在 Nature Medicine 发表(题为
2024-07-26 09:27:00
200余位顶尖学者和产业专家共议人工智能热点问题
...源研究院院长王仲远介绍了智源研究院在语言大模型、多模态大模型、具身大模型和生物计算大模型的前沿探索和研究进展,以及大模型全栈开源技术基座的迭代升级与版图布局。王仲远表示,未来
2024-06-14 22:21:00
AIGC+机器人=具身智能?硅谷最酷的两个男人不谋而合 A股预演“下个浪潮”
...潮将是“具身智能”,他也公布了Nvidia VIMA,这是一个多模态具身人工智能系统,能够在视觉文本提示的指导下执行复杂的任务。反映在A股二级市场上,今日,相关标的强势上涨,
2023-05-18 19:00:00
创新工场李开复:AI 2.0已至,将诞生新平台并重写所有应用
...的重大突破之后,AI 已经来到从 1.0 迈入 2.0 的拐点。多模态、巨型数据集的飞速发展,AI 优化目标函数及训练模型的技术方法将大幅精进
2023-03-14 11:08:00
...1亿美金。资金主要将用于核心研发团队的建设,加速多模态大模型和应用产品的研发。成立于2023年3月,生数科技由安全可控人工智能方案提供商瑞莱智慧RealAI、蚂蚁集团和BV百
2023-06-19 09:03:00
GPT-4V暴露致命缺陷?JHU等发布首个多模态ToM 测试集
...来自 JHU, NYU, MIT, Harvard 等机构的研究团队开创了第一个多模态的 ToM 测试基准,发现现有的多模态模型和 LLM 都表现存在系统性缺陷
2024-09-12 09:45:00
更多关于科技的资讯:
CPU-Z官方统计10大最受欢迎CPU!8核成用户首选 锐龙7 9800X3D排名第一
快科技4月5日消息,根据CPU-Z统计,8核CPU已经成为最受用户欢迎的选择,市场份额一年内增长32.6%。近日,GPU-Z官方公布的《最受欢迎硬件》数据显示(截至2025年4月1日
2025-04-05 14:13:00
谷歌AI误将愚人节玩笑当新闻传播:专家呼吁警惕假消息
快科技4月5日消息,据报道,新闻网站《Cwmbran Life》每年都会发布愚人节恶搞新闻,但今年这些虚构内容却被谷歌AI工具当成了真实信息
2025-04-05 14:13:00
“宠客模式”再上新 菏泽智泊解锁赏牡丹停车难题
大众网记者 刘亚 张勇 菏泽报道随着第34届菏泽国际牡丹文化旅游节将于4月8日开幕,菏泽市依托“菏泽智泊”智慧停车系统
2025-04-05 14:39:00
全球最富500人两天财富蒸发超5000亿:马斯克损失最为惨重
快科技4月5日消息,受新关税政策影响,美国纽约股市4日连续第二天暴跌,纳斯达克综合指数当天正式跌入技术上的熊市。如此惨烈的股市
2025-04-05 14:43:00
清明路上堵成猪肝红:有人5小时动800米 到处都是车
4月5日消息,据媒体报道,清明小长假迎来出行高峰,多条高速出现拥堵,有网友调侃:“路上堵成‘猪肝红’”,因为太堵,有车主5个小时只动了800米
2025-04-05 14:43:00
CPU-Z公布最受欢迎10大显卡!“国民神卡”RTX 3060稳居榜首 没有一款A卡
快科技4月5日消息,近日,CPU-Z公布了最受欢迎10大显卡(截至2025年4月1日,用户使用GPU-Z验证数据),一代“国民神卡”RTX 3060稳居榜首
2025-04-05 14:43:00
国产燃油硬派方盒子!奇瑞捷途旅行者悦野版上市:售19.19万元
快科技4月5日消息,奇瑞宣布2025款捷途旅行者新增悦野版车型上市,官方指导价19.19万元。该车搭载2.0T发动机,匹配7挡湿式双离合变速箱
2025-04-05 15:13:00
卢伟冰回应雷军近况:一个爱心表情
快科技4月5日消息,有网友在小米集团卢伟冰评论区提问:雷军最近还好吗?对此,卢伟冰回复了一个爱心的表情。据了解,雷军最近一条微博发布于4月1日晚间
2025-04-05 15:13:00
日前,珍宝岛药业组织召开专项会议,总结回顾近阶段会议活动成果。在以推动参展/参会国家级大型会议、招商推介会、学术会议为核心的系列会议活动取得了优秀的品牌宣传及营销业务促进效果
2025-04-05 15:54:00
抢手!厦企百万年薪争抢AI人才春招数据显示:相关岗位需求同比大增超四成东南网4月5日讯(海峡导报记者 刘彦玫)随着人工智能掀起的技术革命浪潮席卷全球
2025-04-05 16:05:00
搭流媒体后视镜+隐藏式把手!奇瑞QQ概念车官图发布
快科技4月5日消息,奇瑞公布了QQ概念车的官图,该车将于上海车展期间正式亮相。外观方面,整体造型科幻感较强,与工信部展示的奇瑞QQ多米以及当年的QQ me系列车型差别较大
2025-04-05 16:13:00
中新网北京4月5日电 (记者 孙自法)国际知名学术期刊《自然》最新发表一篇医学论文称,一项针对英国威尔士人群的大规模研究指出
2025-04-05 16:36:00
商家奇葩促销大赏:袜子套装“买3送3”竟是买3双发3双
4月5日消息,据媒体报道,湖北一位消费者在某店铺花13.9元下单了商品名称为“买3送3”的袜子套装,但收到货后只有3双袜子
2025-04-05 16:43:00
三缸300匹!地表最强丰田卡罗拉曝光
快科技4月5日消息,2026款丰田GR Corolla的谍照曝光,新车预计将在2025年第三或第四季度正式亮相。外观方面
2025-04-05 16:43:00
家用SUV价格屠夫!零跑B10官宣4月10日上市:预售10.98万起
快科技4月5日消息,零跑汽车宣布,零跑B10将于4月10日正式上市,预售价区间为10.98万至13.98万元。零跑汽车官方发布海报称
2025-04-05 09:12:00