• 我的订阅
  • 科技

零成本突破多模态大模型瓶颈!多所美国顶尖高校华人团队,联合推出自增强技术CSR

类别:科技 发布时间:2024-06-21 09:21:00 来源:新智元

零成本突破多模态大模型瓶颈!多所美国顶尖高校华人团队,联合推出自增强技术CSR

新智元报道

编辑:LRST

【新智元导读】现有多模态大模型在对齐不同模态时面临幻觉和细粒度感知不足等问题,传统偏好学习方法依赖可能不适配的外源数据,存在成本和质量问题。Calibrated Self-Rewarding(CSR)框架通过自我增强学习,利用模型自身输出构造更可靠的偏好数据,结合视觉约束提高学习效率和准确性。

多模态大模型展现出了多种多样的能力,这些能力都通过SFT和预训练从庞大的训练数据集中学习。

但是模态之间的简单对齐可能会使得模型存在幻觉,细粒度图像感知能力差等各种问题。

已有的多模态大模型对齐方案一般采用DPO,POVID等偏好优化方法,或是蒸馏 GPT-4等昂贵闭源模型的方式来提升模型能力。

这些方法大多需要外源模型数据,这些数据构造存在很多问题,一是需要昂贵的价格,二是缺乏质量和多样性的保证。

再者说,这真的适合需要提升模型本身的分布偏好吗?

在Calibrated Self-Rewarding Vision Language Models文中,通过模型自身输出概率证明了,外来模型构造的偏好数据可能不适合用于模型的偏好学习,相较于模型自身的response,外源模型所构造的数据模型自己说出的概率很小,简单来说对于偏好数据中的负样本模型并不会犯一样的错误,对于偏好数据中的正样本模型也不会讲出那么好的response。

这种偏好数据用于偏好学习可能会引入模型自身分布的偏差导致其他错误,同时因为模型自身说同样话的概率低,用这样的数据来偏好学习增强模型收益很小。

零成本突破多模态大模型瓶颈!多所美国顶尖高校华人团队,联合推出自增强技术CSR

同时传统纯文本大模型领域的Self-rewarding范式存在一定缺陷。

零成本突破多模态大模型瓶颈!多所美国顶尖高校华人团队,联合推出自增强技术CSR

在此前self rewarding提供reward的模型是模型自身,当模型自身无法准确分辨偏好、所具有的知识不够强大的时候,它所提供的反馈可能不够精准或者没用导致所更新的模型的分布无法向着目标分布更新。

为了解决上述问题,来自UNC ,芝加哥大学,UMD和罗格斯大学的研究团队提出了Calibrated Self-Rewarding(CSR),多模态大模型的自我增强因为会存在一个真实图像的参照,这会使得self-rewarding的过程更加可靠。

零成本突破多模态大模型瓶颈!多所美国顶尖高校华人团队,联合推出自增强技术CSR

论文地址: https://arxiv.org/pdf/2405.14622

项目地址:https://github.com/YiyangZhou/CSR

项目页面:https://dongjie-cheng.github.io/CSR.html

整个Calibrated Self-Rewarding(CSR)框架如下:

零成本突破多模态大模型瓶颈!多所美国顶尖高校华人团队,联合推出自增强技术CSR

1. 通过模型本身在beam search过程中的输出构造偏好数据对,过程中的奖励来自于校准的自我奖励:LVLM对于每句话的自我生成概率 + 结合视觉约束奖励,用于奖励校准。

2. 基于每一轮构造的偏好数据在线通过DPO迭代学习。

实验

CSR相较于数据驱动的偏好学习对齐方法和模型自我反馈的方法均有较大提升。

零成本突破多模态大模型瓶颈!多所美国顶尖高校华人团队,联合推出自增强技术CSR

更值得注意的是,在CSR多轮在线迭代过程中,模型能逐步提升自我能力!可以看到在多个轮次中以LLaVA-1.5为例,模型在多个benchmark上的均分逐步提升。

零成本突破多模态大模型瓶颈!多所美国顶尖高校华人团队,联合推出自增强技术CSR

同时也可以看到特别是幻觉,在多轮迭代中是逐步减少的:

零成本突破多模态大模型瓶颈!多所美国顶尖高校华人团队,联合推出自增强技术CSR

同时CSR也适用于其他模型,例如Vila:

零成本突破多模态大模型瓶颈!多所美国顶尖高校华人团队,联合推出自增强技术CSR

那么在Calibrated Self-Rewarding(CSR)的过程中究竟发生了什么呢?通过可视化经过CSR迭代前后模型自身的正样本和负样本输出可以发现,经过多轮CSR学习后,模型自身说出的回复会有更高的分数:这代表模型的response更加符合图像信息;同时负样本和正样本的gap更小:这说明模型所输出的负样本倾向于正样本,模型的误差和性能下界提升。

零成本突破多模态大模型瓶颈!多所美国顶尖高校华人团队,联合推出自增强技术CSR

通过可视化attention可以看到,CSR能使得LVLM更加偏重于视觉模型,同时能缓解文本attention中存在的上下文依赖问题。

零成本突破多模态大模型瓶颈!多所美国顶尖高校华人团队,联合推出自增强技术CSR

以上内容为资讯信息快照,由td.fyun.cc爬虫进行采集并收录,本站未对信息做任何修改,信息内容不代表本站立场。

快照生成时间:2024-06-21 12:45:19

本站信息快照查询为非营利公共服务,如有侵权请联系我们进行删除。

信息原文地址:

中国也有Sora同款训练架构公司,清华班底,智谱也投了 | 36氪首发
...也出现了大模型独角兽智谱AI的身影。36氪获悉,近日多模态AI模型公司生数科技完成新一轮数亿元融资。该轮融资由启明创投领投,达泰资本、鸿福厚德、智谱AI、老股东BV百度风投和
2024-03-14 15:12:00
...国AI产业规划的路线图,就是通过大量堆砌算力,建立多模态通用大模型。同时,其压制中国AI发展的思路,也是通过限制芯片这一算力的核心而来。 但经过两年发展,美国限制措施并没有取
2024-12-30 06:40:00
全球顶尖人工智能科学家加盟 阿里AI To C业务布局再提速
...出任阿里集团副总裁,向吴嘉汇报,负责AI To C业务的多模态基础模型及Agents相关基础研究与应用解决方案。近期
2025-02-08 18:48:00
国际首个,我国团队开发糖尿病诊疗多模态大模型 DeepDR-LLM
...构建了全球首个面向糖尿病诊疗的视觉-大语言模型的多模态集成智能系统 DeepDR-LLM,成果于 2024 年 7 月 19 日在 Nature Medicine 发表(题为
2024-07-26 09:27:00
200余位顶尖学者和产业专家共议人工智能热点问题
...源研究院院长王仲远介绍了智源研究院在语言大模型、多模态大模型、具身大模型和生物计算大模型的前沿探索和研究进展,以及大模型全栈开源技术基座的迭代升级与版图布局。王仲远表示,未来
2024-06-14 22:21:00
AIGC+机器人=具身智能?硅谷最酷的两个男人不谋而合 A股预演“下个浪潮”
...潮将是“具身智能”,他也公布了Nvidia VIMA,这是一个多模态具身人工智能系统,能够在视觉文本提示的指导下执行复杂的任务。反映在A股二级市场上,今日,相关标的强势上涨,
2023-05-18 19:00:00
...的重大突破之后,AI 已经来到从 1.0 迈入 2.0 的拐点。多模态、巨型数据集的飞速发展,AI 优化目标函数及训练模型的技术方法将大幅精进
2023-03-14 11:08:00
...1亿美金。资金主要将用于核心研发团队的建设,加速多模态大模型和应用产品的研发。成立于2023年3月,生数科技由安全可控人工智能方案提供商瑞莱智慧RealAI、蚂蚁集团和BV百
2023-06-19 09:03:00
GPT-4V暴露致命缺陷?JHU等发布首个多模态ToM 测试集
...来自 JHU, NYU, MIT, Harvard 等机构的研究团队开创了第一个多模态的 ToM 测试基准,发现现有的多模态模型和 LLM 都表现存在系统性缺陷
2024-09-12 09:45:00
更多关于科技的资讯:
上海乐高乐园票价公布:成人最低价319元!
快科技4月2日消息,上海乐高乐园今天正式公布票价,上海乐高乐园度假区采用六级票价体系,该票价体系基于季节性客流预测,价格从255元到599元不等
2025-04-02 10:40:00
真我GT7官宣本月发布!首批搭载天机9400+
快科技4月2日消息,真我GT7今天正式官宣,将在本月发布。官方还强调“没有3nm,怎敢称性能旗舰”,而真我GT7将首批搭载联发科天机9400+旗舰芯片
2025-04-02 10:40:00
看!宇宙中最惊艳的“光之指环” 爱因斯坦做梦都想见到
快科技4月2日消息,爱因斯坦广义相对论预测的引力透镜效应,相信大家都有所耳闻,而在引力效应的实际体现中,最神秘、最美丽的形态
2025-04-02 11:10:00
欧洲最大廉价航拟购买C919:只要价格比空客便宜20% 就下单
快科技4月2日消息,据媒体报道,近日,欧洲廉航瑞安航空CEO 奥利里表示:“C919飞机只要价格够给力,比空客便宜10%-20%
2025-04-02 11:10:00
一加13T确认6开头电池!唯一一款6000mAh+小屏旗舰
快科技4月2日消息,一加13T日前已经正式官宣,将在本月正式发布,是一款小屏旗舰。今天李杰直接官方爆料:一加13T冰川电池容量6开头
2025-04-02 11:10:00
性价比更高!RTX 5080移动版实测:比RTX 5090移动版低15%
快科技4月2日消息,根据Notebookcheck的最新测试结果,RTX 5080移动版的性能,比RTX 5090移动版低约10%到15%
2025-04-02 11:10:00
全球首例!武汉团队给大脑画出精准“3D地图”
快科技4月2日消息,据报道,华中科技大学同济医学院附属协和医院叶哲伟教授、周弘博士团队与武汉衷华脑机融合科技发展有限公司联合发布了全球首例微米级脑机接口多模态三维图谱
2025-04-02 11:10:00
内蒙老牌科尔沁:风干牛肉4两20元抄底
天猫科尔沁食品旗舰店,科尔沁风干牛肉200g日常售价67元,今日下单3件可用141元冲量券,3袋1.2斤实付60元包邮
2025-04-02 11:10:00
50万内品价比最高SUV!零跑C10交付突破10万大关!3月交付超1.2万台
快科技4月2日消息,零跑汽车宣布零跑C10累计交付突破10万台,3月交付超1.2万台。此外,官方宣布即刻下定可享至高立省51680元
2025-04-02 11:10:00
京东又涨工资了:达达员工今年升至19薪 明年20薪 还送股票
快科技4月2日消息,京东又宣布涨工资了!今天,京东黑板报宣布,达达员工薪酬将在今年升级至19薪,明年升级至20薪。此外
2025-04-02 11:10:00
常思思助阵!生活在左广州塔水上大秀开启非遗时尚新纪元
Deepseek眼里的非遗广州是怎样的?木棉花映红天际时,广绣在绸缎上绽放出灵动的花鸟,醒狮的金毛在阳光下闪烁着威严的光芒
2025-04-02 11:11:00
对话元戎启行周光:“车位到车位”的智驾,依靠的是高精地图,是“缝合怪物”
出品 | 搜狐科技作者 | 梁昌均编辑 | 杨锦“大模型经历了从专家系统到通才系统,再到真正强专家系统的阶段,智驾、机器人也会经历同样阶段
2025-04-02 11:29:00
Walmart线上店铺销量前十品类有哪些
Walmart作为全球最大的零售商之一,其线上店铺同样在全球电商市场中占有重要地位。根据最新的市场数据和趋势分析,带大家了解一下Walmart线上店铺销量前十的品类
2025-04-02 11:33:00
《易达威学术微课堂》首期录制圆满启动!对话五大领域学者
2025年3月——由易达威学术出版社打造的公益栏目《易达威学术微课堂》正式进入录制阶段,首期特邀来自中山大学、陕西科技大学
2025-04-02 11:40:00
强脑科技携非侵入式脑机接口技术亮相交个朋友直播间
4月1日晚,杭州“六小龙”之一的强脑科技,携其领先的非侵入式脑机接口技术走进交个朋友直播间,与罗永浩探讨脑机科技的实际应用
2025-04-02 11:46:00