• 我的订阅
  • 科技

arxiv研究人员:多模态ai模型存在安全隐患

类别:科技 发布时间:2024-06-26 03:07:00 来源:浅语科技

6月25日消息,最新发表在arXiv的研究论文指出,包括GPT-4V、GPT-4o和Gemini1.5在内的大部分主流多模态AI模型,处理用户的多模态输入(例如一起输入图片和文本内容)之后,输出结果并不安全。

arxiv研究人员:多模态ai模型存在安全隐患

这项研究标题为《跨模态安全调整》(Cross-ModalitySafetyAlignment),提出了一个全新的“安全输入但不安全输出”(SIUO),涉及道德、危险行为、自残、侵犯隐私、信息误读、宗教信仰、歧视和刻板印象、争议性话题以及非法活动和犯罪等9个安全领域。

arxiv研究人员:多模态ai模型存在安全隐患

研究人员说,大型视觉语言模型(LVLM)在接收多模态输入时很难识别SIUO类型的安全问题,在提供安全响应方面也遇到困难。

在接受测试的15个LVLM中,只有GPT-4v(53.29%)、GPT-4o(50.9%)和Gemini1.5(52.1%)的得分高于50%。

研究人员表示为了解决这个问题,需要开发LVLM,以便将所有模式的见解结合起来,形成对情景的统一理解。它们还需要能够掌握和应用现实世界的知识,如文化敏感性、道德考虑因素和安全隐患等。

研究人员还指出,LVLMs需要能够通过对图像和文本信息的综合推理,理解用户的意图,即使文本中没有明确说明。

arxiv研究人员:多模态ai模型存在安全隐患

arxiv研究人员:多模态ai模型存在安全隐患

arxiv研究人员:多模态ai模型存在安全隐患

以上内容为资讯信息快照,由td.fyun.cc爬虫进行采集并收录,本站未对信息做任何修改,信息内容不代表本站立场。

快照生成时间:2024-06-26 09:45:21

本站信息快照查询为非营利公共服务,如有侵权请联系我们进行删除。

信息原文地址:

赋予人工智能更多温度
...据驱动的服务对象精准认知与最优决策技术,以及基于多模态的机器人主动服务与精准交互技术这三大核心技术,链接了物联网、精准服务分析、深度学习计算三大云端平台,实现了‘云、边、端’
2023-11-24 06:27:00
清华领衔发布多模态评估MultiTrust:GPT-4可信度有几何?
...来源何处? 近日,来自清华、北航、上交和瑞莱智慧的研究人员联合撰写百页长文,发布名为MultiTrust的综合基准,首次从多个维度和视角全面评估了主流多模态大模型的可信度,
2024-07-25 09:31:00
首个可保留情感的音频LLM!Meta重磅开源7B-Spirit LM,一网打尽「音频+文本」多模态任务
...和文本来混合:[TEXT]the cat [SPEECH][Hu3][Hu7]..[Hu200][TEXT]the mat研究人员认为
2024-11-23 09:43:00
公路水路交通基础设施数字化转型升级,卓视智通准备好了
...012年成立以来就一直专注于交通视频识别及智能分析、多模态融合感知、多模态大模型等前沿技术的原创研发,并在智慧公路与交通基础设施数字化领域实现了广泛的应用落地,公司连续多年获
2024-05-22 12:00:00
暂缓大模型:担忧的科学家,失控的AI | Future
...术造成的虚假信息,也值得警惕。据《美联社》报道,当研究人员要求制造有关疫苗等事件的虚假信息时,ChatGPT都照做了。“就好比自己精心教育的孩子,突然间就有可能走上犯罪的道路
2023-04-18 10:08:00
一文看尽Meta开源大礼包!全面覆盖图像分割、语音、文本、表征、材料发现、密码安全性等
...强。开源链接:https://github.com/facebookresearch/sam2相比SAM2,研究人员引入了额外的数据增强技术来模拟视觉相似物体和小物体
2024-11-28 12:02:00
...大量通用数据、行业数据,支持文本、图像、视频等多种模态,并打造了全流程的数据处理工具。超过700万亿字节的通用数据集可以开展通用模型训练,同时,4.33万亿字节的行业垂类数据
2024-06-16 04:14:00
MMMU华人团队更新Pro版!多模态基准升至史诗级难度:过滤纯文本问题、引入纯视觉问答
...似,但GPT-4o mini 模型的健壮性与GPT-4o相比,健壮性较差。研究人员中还探讨了 OCR 提示和思想链 (CoT) 推理的影响
2024-09-18 13:31:00
英伟达开源NVLM 1.0屠榜多模态!纯文本性能不降反升
...11402项目主页:https://nvlm-project.github.io/在模型设计方面,研究人员对纯解码器多模态大模型(如LLaVA)和基于交叉注意力的模型(如Flamingo)进行了全面对比
2024-09-24 13:36:00
更多关于科技的资讯:
□南京日报/紫金山新闻记者 张安琪9月23日,2025南京金秋经贸洽谈会开幕式上,一批全球首个、国内首批、性能全球最高的科技成果密集亮相
2025-10-06 09:49:00
国庆中秋长假期间,新能源汽车已成为众多家庭出游的重要选择。为进一步破解高速服务区“充电难、排队久”的现实困境,山西交控集团坚持“科技创新+服务升级”双轮驱动
2025-10-06 18:01:00
邮储信用卡气球雨惊喜派对即将空降青岛李沧万达,国庆中秋邀您共启幸运之旅!
鲁网9月30日讯2025年国庆、中秋双节同庆之际,为回馈广大市民与持卡人长期以来的支持,邮储银行青岛分行将于10月1日-8日
2025-10-06 14:11:00
□南京日报/紫金山新闻记者 于洁尘 通讯员陈天骄“干我们这行的,哪有节假日?越是假期越要忙。”10月5日一大早,28岁的陈潇离开南京
2025-10-06 09:48:00
节日我在岗丨十堰高周波:抓创新赶订单 全力冲刺年度目标
十堰广电讯(全媒体记者 陈林)在国庆中秋假期,位于十堰经济开发区的十堰高周波科工贸有限公司抓创新赶订单,全力冲刺年度目标
2025-10-05 20:21:00
节日我在岗丨艾斯卓智能科技:节日不休 赶制订单
十堰广电讯(全媒体记者 耿吉国)放假不放松,生产不停工。国庆中秋长假,我市各生产企业铆足干劲抓生产、赶订单,奋力冲刺年度目标任务
2025-10-05 20:21:00
普阳钢铁工程机械用高强高韧宽厚板全国市场占有率名列前茅一块宽厚板的靶向发力——“铁疙瘩”怎样变成“金娃娃”(十)从矿山到港口
2025-10-05 07:47:00
人气旺 厦门多个商场假日客流爆棚、销售额亮眼
集美大悦城商圈内,小朋友和机器人亲密互动。(本组图/厦门日报记者 黄晓珍 摄)国庆中秋假期, 厦门SM购物中心潮玩店内人气火爆
2025-10-04 09:20:00
省数据和政务服务局发布公告公开征集一批河北省高质量数据集河北日报讯(记者解楚楚)9月26日,河北省数据和政务服务局发布公告
2025-10-04 08:03:00
央媒看太原9月30日,央视财经频道《经济信息联播》栏目以《双节市场备货足美食特产受青睐》为题,报道了假期到来,太原市各大综合市场提前备货
2025-10-04 07:17:00
厦门网讯(厦门日报记者 朱道衡)近日,2025鼓浪屿世遗文创作品征集活动启动。此次活动面向全国(含港澳台地区)高校、企业
2025-10-03 08:37:00
厦门网讯(厦门日报记者 楚燕 通讯员 石青青)长假期间,许多人从忙碌的工作中解脱出来,趁机好好休息。可是,如果休息方式不得当
2025-10-03 08:37:00
渤海之潮涌动着澎湃的脉搏,海河之畔镌刻着科技的印记。10年前,一颗带有“清华”基因的种子在天津这片沃土扎根;10年后,它长成一棵枝繁叶茂的参天大树
2025-10-03 09:25:00
太燃了!无人机空中展旗!高新区国庆“氛围组”已上线!
2025-10-03 23:48:00
抖音生活服务联合北京卫视发起“老板驾到”直播活动,吸引用户下单超100万元团购券
9月29日,抖音生活服务联合北京卫视发起“老板驾到”直播活动,助力北京国庆中秋消费。抖音用户在@北京卫视 直播间下单超1万次
2025-10-03 18:36:00