• 我的订阅
  • 科技

arxiv研究人员:多模态ai模型存在安全隐患

类别:科技 发布时间:2024-06-26 03:07:00 来源:浅语科技

6月25日消息,最新发表在arXiv的研究论文指出,包括GPT-4V、GPT-4o和Gemini1.5在内的大部分主流多模态AI模型,处理用户的多模态输入(例如一起输入图片和文本内容)之后,输出结果并不安全。

arxiv研究人员:多模态ai模型存在安全隐患

这项研究标题为《跨模态安全调整》(Cross-ModalitySafetyAlignment),提出了一个全新的“安全输入但不安全输出”(SIUO),涉及道德、危险行为、自残、侵犯隐私、信息误读、宗教信仰、歧视和刻板印象、争议性话题以及非法活动和犯罪等9个安全领域。

arxiv研究人员:多模态ai模型存在安全隐患

研究人员说,大型视觉语言模型(LVLM)在接收多模态输入时很难识别SIUO类型的安全问题,在提供安全响应方面也遇到困难。

在接受测试的15个LVLM中,只有GPT-4v(53.29%)、GPT-4o(50.9%)和Gemini1.5(52.1%)的得分高于50%。

研究人员表示为了解决这个问题,需要开发LVLM,以便将所有模式的见解结合起来,形成对情景的统一理解。它们还需要能够掌握和应用现实世界的知识,如文化敏感性、道德考虑因素和安全隐患等。

研究人员还指出,LVLMs需要能够通过对图像和文本信息的综合推理,理解用户的意图,即使文本中没有明确说明。

arxiv研究人员:多模态ai模型存在安全隐患

arxiv研究人员:多模态ai模型存在安全隐患

arxiv研究人员:多模态ai模型存在安全隐患

以上内容为资讯信息快照,由td.fyun.cc爬虫进行采集并收录,本站未对信息做任何修改,信息内容不代表本站立场。

快照生成时间:2024-06-26 09:45:21

本站信息快照查询为非营利公共服务,如有侵权请联系我们进行删除。

信息原文地址:

赋予人工智能更多温度
...据驱动的服务对象精准认知与最优决策技术,以及基于多模态的机器人主动服务与精准交互技术这三大核心技术,链接了物联网、精准服务分析、深度学习计算三大云端平台,实现了‘云、边、端’
2023-11-24 06:27:00
清华领衔发布多模态评估MultiTrust:GPT-4可信度有几何?
...来源何处? 近日,来自清华、北航、上交和瑞莱智慧的研究人员联合撰写百页长文,发布名为MultiTrust的综合基准,首次从多个维度和视角全面评估了主流多模态大模型的可信度,
2024-07-25 09:31:00
首个可保留情感的音频LLM!Meta重磅开源7B-Spirit LM,一网打尽「音频+文本」多模态任务
...和文本来混合:[TEXT]the cat [SPEECH][Hu3][Hu7]..[Hu200][TEXT]the mat研究人员认为
2024-11-23 09:43:00
公路水路交通基础设施数字化转型升级,卓视智通准备好了
...012年成立以来就一直专注于交通视频识别及智能分析、多模态融合感知、多模态大模型等前沿技术的原创研发,并在智慧公路与交通基础设施数字化领域实现了广泛的应用落地,公司连续多年获
2024-05-22 12:00:00
暂缓大模型:担忧的科学家,失控的AI | Future
...术造成的虚假信息,也值得警惕。据《美联社》报道,当研究人员要求制造有关疫苗等事件的虚假信息时,ChatGPT都照做了。“就好比自己精心教育的孩子,突然间就有可能走上犯罪的道路
2023-04-18 10:08:00
一文看尽Meta开源大礼包!全面覆盖图像分割、语音、文本、表征、材料发现、密码安全性等
...强。开源链接:https://github.com/facebookresearch/sam2相比SAM2,研究人员引入了额外的数据增强技术来模拟视觉相似物体和小物体
2024-11-28 12:02:00
...大量通用数据、行业数据,支持文本、图像、视频等多种模态,并打造了全流程的数据处理工具。超过700万亿字节的通用数据集可以开展通用模型训练,同时,4.33万亿字节的行业垂类数据
2024-06-16 04:14:00
MMMU华人团队更新Pro版!多模态基准升至史诗级难度:过滤纯文本问题、引入纯视觉问答
...似,但GPT-4o mini 模型的健壮性与GPT-4o相比,健壮性较差。研究人员中还探讨了 OCR 提示和思想链 (CoT) 推理的影响
2024-09-18 13:31:00
英伟达开源NVLM 1.0屠榜多模态!纯文本性能不降反升
...11402项目主页:https://nvlm-project.github.io/在模型设计方面,研究人员对纯解码器多模态大模型(如LLaVA)和基于交叉注意力的模型(如Flamingo)进行了全面对比
2024-09-24 13:36:00
更多关于科技的资讯:
摘要:本文系统探究了人工智能技术在影视美术创作及戏剧影视美术设计专业教学中的应用模式、核心价值与发展前景。通过对Midjourney
2025-11-24 07:00:00
医保制度的完善与发展不仅直接影响人民的健康福祉,还关乎国家医疗资源的合理配置与利用效率。然而,随着医保覆盖范围不断扩大
2025-11-24 07:00:00
厦门三展联动 显现整合资源拉动消费的集聚效应
境外客商参观2025厦门国际咖啡产业博览会。●ISPO亚洲运动用品与时尚展涵盖多领域户外装备展示,并设有行业分享论坛、新潮运动体验区
2025-11-24 07:53:00
厦门网讯(厦门日报记者 林露虹)独居老人在家中不慎跌倒,所幸家中安装的毫米波雷达设备迅速识别异常并触发警报,避免一场悲剧的发生……这一幕出现在今年热播剧《蛮好的人生》中
2025-11-24 07:54:00
厦门网讯(厦门日报记者 房舒)“你是温峥嵘,那我是谁?”近日,演员温峥嵘怒斥AI(人工智能)仿冒者的言论冲上热搜,揭开了AI技术被滥用的冰山一角
2025-11-23 08:11:00
网聚泉城丨政企协同“双轮驱动” 济南以数字技术重构电梯产业生态
鲁网11月23日讯(记者 张佳伟 实习生 寇晓菊)1天内完成立项、2天完成图纸审查、1个月实现场地平整、1年建成开园投产——广日电梯济南数字化产业园以“广日速度”刷新行业纪录
2025-11-23 15:19:00
第十届安徽省全屋智能设计集成职业技能竞赛总决赛在合肥举办
大皖新闻讯 11月22日,第十届安徽省全屋智能设计集成职业技能竞赛总决赛在合肥落幕。本届竞赛由安徽省商务厅、安徽省总工会
2025-11-23 17:06:00
日前,山东摩享乐实业有限公司以17万台共享设备覆盖全国、10亿元级的市场投入,成为共享服务领域的“中华品牌”和标杆典范
2025-11-23 10:34:00
鲁网11月21日讯为回馈客户,赋能业务高质量发展,近日,河东农商银行桃源支行联合辖内某药业集团举办“金冬时节·健康相伴”客户养生见面会
2025-11-22 09:34:00
灵光4天下载破100万,扩容8轮,刷新Sora2五天纪录
11月22日消息,蚂蚁灵光上线4天下载量突破100万,冲上App Store中国区免费榜第六。灵光首个百万下载速度超过ChatGPT
2025-11-22 14:13:00
知识带货热度高,历史作家梅毅在抖音直播间发布新书
知识带货热度不减,越来越多作家走进直播间推荐新书、好书。11月20日,知名历史作家梅毅(网名“赫连勃勃大王”)携新作《天命无常
2025-11-22 15:35:00
齐绘未来发布“快上岸”智能求职小程序,多项自主知识产权技术为大学生就业赋能
北京齐绘未来教育科技有限公司近日正式推出“快上岸”微信小程序,以多项具备自主知识产权的AI系统为核心,为大学生提供精准
2025-11-22 15:36:00
以开源聚合力,以生态促创新,电鸿走出行业操作系统自主路径
“在过去,去一次现场要带一大堆终端,以应对现场不同设备的接入。现在,只需一部手机和一箱基础工具就行。”来自广州南沙示范区运维工作人员的分享
2025-11-22 15:37:00
河北新闻网讯(李力芳)2025年7月份以来,河北建工省安装六分公司浙江八亿时空项目创新引入平台吊装系统、蜘蛛吊、电动遥控坦克等专业技术装备
2025-11-22 18:08:00