• 我的订阅
  • 科技

arxiv研究人员:多模态ai模型存在安全隐患

类别:科技 发布时间:2024-06-26 03:07:00 来源:浅语科技

6月25日消息,最新发表在arXiv的研究论文指出,包括GPT-4V、GPT-4o和Gemini1.5在内的大部分主流多模态AI模型,处理用户的多模态输入(例如一起输入图片和文本内容)之后,输出结果并不安全。

arxiv研究人员:多模态ai模型存在安全隐患

这项研究标题为《跨模态安全调整》(Cross-ModalitySafetyAlignment),提出了一个全新的“安全输入但不安全输出”(SIUO),涉及道德、危险行为、自残、侵犯隐私、信息误读、宗教信仰、歧视和刻板印象、争议性话题以及非法活动和犯罪等9个安全领域。

arxiv研究人员:多模态ai模型存在安全隐患

研究人员说,大型视觉语言模型(LVLM)在接收多模态输入时很难识别SIUO类型的安全问题,在提供安全响应方面也遇到困难。

在接受测试的15个LVLM中,只有GPT-4v(53.29%)、GPT-4o(50.9%)和Gemini1.5(52.1%)的得分高于50%。

研究人员表示为了解决这个问题,需要开发LVLM,以便将所有模式的见解结合起来,形成对情景的统一理解。它们还需要能够掌握和应用现实世界的知识,如文化敏感性、道德考虑因素和安全隐患等。

研究人员还指出,LVLMs需要能够通过对图像和文本信息的综合推理,理解用户的意图,即使文本中没有明确说明。

arxiv研究人员:多模态ai模型存在安全隐患

arxiv研究人员:多模态ai模型存在安全隐患

arxiv研究人员:多模态ai模型存在安全隐患

以上内容为资讯信息快照,由td.fyun.cc爬虫进行采集并收录,本站未对信息做任何修改,信息内容不代表本站立场。

快照生成时间:2024-06-26 09:45:21

本站信息快照查询为非营利公共服务,如有侵权请联系我们进行删除。

信息原文地址:

赋予人工智能更多温度
...据驱动的服务对象精准认知与最优决策技术,以及基于多模态的机器人主动服务与精准交互技术这三大核心技术,链接了物联网、精准服务分析、深度学习计算三大云端平台,实现了‘云、边、端’
2023-11-24 06:27:00
清华领衔发布多模态评估MultiTrust:GPT-4可信度有几何?
...来源何处? 近日,来自清华、北航、上交和瑞莱智慧的研究人员联合撰写百页长文,发布名为MultiTrust的综合基准,首次从多个维度和视角全面评估了主流多模态大模型的可信度,
2024-07-25 09:31:00
首个可保留情感的音频LLM!Meta重磅开源7B-Spirit LM,一网打尽「音频+文本」多模态任务
...和文本来混合:[TEXT]the cat [SPEECH][Hu3][Hu7]..[Hu200][TEXT]the mat研究人员认为
2024-11-23 09:43:00
公路水路交通基础设施数字化转型升级,卓视智通准备好了
...012年成立以来就一直专注于交通视频识别及智能分析、多模态融合感知、多模态大模型等前沿技术的原创研发,并在智慧公路与交通基础设施数字化领域实现了广泛的应用落地,公司连续多年获
2024-05-22 12:00:00
暂缓大模型:担忧的科学家,失控的AI | Future
...术造成的虚假信息,也值得警惕。据《美联社》报道,当研究人员要求制造有关疫苗等事件的虚假信息时,ChatGPT都照做了。“就好比自己精心教育的孩子,突然间就有可能走上犯罪的道路
2023-04-18 10:08:00
一文看尽Meta开源大礼包!全面覆盖图像分割、语音、文本、表征、材料发现、密码安全性等
...强。开源链接:https://github.com/facebookresearch/sam2相比SAM2,研究人员引入了额外的数据增强技术来模拟视觉相似物体和小物体
2024-11-28 12:02:00
...大量通用数据、行业数据,支持文本、图像、视频等多种模态,并打造了全流程的数据处理工具。超过700万亿字节的通用数据集可以开展通用模型训练,同时,4.33万亿字节的行业垂类数据
2024-06-16 04:14:00
MMMU华人团队更新Pro版!多模态基准升至史诗级难度:过滤纯文本问题、引入纯视觉问答
...似,但GPT-4o mini 模型的健壮性与GPT-4o相比,健壮性较差。研究人员中还探讨了 OCR 提示和思想链 (CoT) 推理的影响
2024-09-18 13:31:00
英伟达开源NVLM 1.0屠榜多模态!纯文本性能不降反升
...11402项目主页:https://nvlm-project.github.io/在模型设计方面,研究人员对纯解码器多模态大模型(如LLaVA)和基于交叉注意力的模型(如Flamingo)进行了全面对比
2024-09-24 13:36:00
更多关于科技的资讯:
人工智能赛事火热,百余选手角逐“最强大脑”“算法高手”指尖翻飞 键盘之上跃动智慧南报网讯(记者余梦迪)“嗒嗒!嗒嗒!”9月7日的南京开放大学(南京工匠学院)赛场内
2025-09-10 07:43:00
□通讯员陶炎鲁荟宇林爽姜静南京日报/紫金山新闻记者徐宁“以前我每个月都要从承包商系统中手动导出考核明细表,再结合管理规定进行数据分析并编写通报材料
2025-09-10 07:44:00
5G小微基站 米粒芯片“守门”这种滤波器芯片出自宁企,用于商场、地下车库等场景,使国产高端滤波器实现弯道超车□南京日报/紫金山新闻记者孙秉印 实习生赵璇 通讯员麒轩9月9日
2025-09-10 07:44:00
“贵州白酒云展会”数字化平台于“一码贵州”正式上线
多彩贵州网讯 9月9日,在第十四届中国(贵州)国际酒类博览会盛大开幕之际,“贵州白酒云展会”数字化平台于“一码贵州”正式上线
2025-09-10 00:50:00
投洽会期间厦门火炬高新区共有41个项目完成签约 计划总投资约433亿元
投洽会上,火炬高新区企业展示的芯片产品吸引客商关注。(本组图/厦门日报全媒体记者 卢剑豪 摄)多家位于火炬高新区的专精特新“小巨人”企业亮相投洽会
2025-09-09 08:44:00
刚刚过去的暑假,“工厂游”火爆出圈。多地工厂纷纷敞开大门,推出丰富多彩的研学项目。而在社交平台上,“工厂游”的攻略被大量转发
2025-09-09 08:46:00
东南网9月8日讯(通讯员 苏培婷)9月5日,由大田县总工会、国网大田县供电公司联合主办,国网大田县供电公司工会承办的首届“电力工匠”职业技能竞赛AI技术应用项目比赛圆满落幕
2025-09-09 09:28:00
本报讯 作为中国洗涤用品工业协会主办的行业盛会,第45届(2025)中国洗涤用品行业年会与第17届中国国际日化产品原料及设备包装展览会(以下简称“中国国际日化展”)将于今年10月15日至17日在重庆国际博览中心举行
2025-09-09 10:44:00
摩登中国时尚展传递中国皮革强音
本报记者 解 磊 文/摄为了满足人们对鞋包服饰等消费需求,为国际国内品牌企业、特色区域、独立设计师提供一个高端商贸合作
2025-09-09 10:44:00
近年来,我国消费市场涌现出许多新亮点,其中一个令人意外却极具代表性的现象是:碳纤维最大应用市场,竟然不是航空航天或风电叶片
2025-09-09 10:45:00
获SIAL创新金奖:纸沙拉沙拉脆片掀起零食健康新主张
消费日报网讯 9月1日,在2025 SIAL西雅国际食品展(深圳)举办同期,第24届SIAL创新大赛获奖榜单正式发布。湖南立方体食品有限公司选送的产品纸沙拉沙拉脆片荣获金奖
2025-09-09 11:17:00
王腾发微博辟谣:有失职,但没有窃取机密出售
9月8日,王腾发布离开小米的微博,当天,“小米王腾因泄密被辞退”登上热搜。此前,2023年8月25日,王化曾发博表示,欢迎王腾回京~好好干
2025-09-09 11:18:00
王腾深夜发文离开小米,其曾被赠“谨言慎行”T恤
9月8日晚,中国区市场部总经理、REDMI品牌总经理王腾发布微博:很惭愧跟大家说声抱歉,过去犯了一些错误,接受该有的代价
2025-09-09 11:18:00
前零一万物联创戴宗宏创业:20人团队,能干上百人的AI定制项目
文|周鑫雨编辑|苏建勋国内市场、ToB、定制化——每个词都踩到了当下AI创业的雷点上。但这恰恰是前零一万物联合创始人戴宗宏
2025-09-09 15:19:00
不再低调的二次元,正在经营一种「痛系生活」
撰文|深海 封面来源|视觉中国 刚刚过去的这个夏天,上海俨然变成了一座二次元年轻人的“痛城”。 7月开始,几大动漫展会接连袭来
2025-09-09 21:51:00