• 我的订阅
  • 科技

arxiv研究人员:多模态ai模型存在安全隐患

类别:科技 发布时间:2024-06-26 03:07:00 来源:浅语科技

6月25日消息,最新发表在arXiv的研究论文指出,包括GPT-4V、GPT-4o和Gemini1.5在内的大部分主流多模态AI模型,处理用户的多模态输入(例如一起输入图片和文本内容)之后,输出结果并不安全。

arxiv研究人员:多模态ai模型存在安全隐患

这项研究标题为《跨模态安全调整》(Cross-ModalitySafetyAlignment),提出了一个全新的“安全输入但不安全输出”(SIUO),涉及道德、危险行为、自残、侵犯隐私、信息误读、宗教信仰、歧视和刻板印象、争议性话题以及非法活动和犯罪等9个安全领域。

arxiv研究人员:多模态ai模型存在安全隐患

研究人员说,大型视觉语言模型(LVLM)在接收多模态输入时很难识别SIUO类型的安全问题,在提供安全响应方面也遇到困难。

在接受测试的15个LVLM中,只有GPT-4v(53.29%)、GPT-4o(50.9%)和Gemini1.5(52.1%)的得分高于50%。

研究人员表示为了解决这个问题,需要开发LVLM,以便将所有模式的见解结合起来,形成对情景的统一理解。它们还需要能够掌握和应用现实世界的知识,如文化敏感性、道德考虑因素和安全隐患等。

研究人员还指出,LVLMs需要能够通过对图像和文本信息的综合推理,理解用户的意图,即使文本中没有明确说明。

arxiv研究人员:多模态ai模型存在安全隐患

arxiv研究人员:多模态ai模型存在安全隐患

arxiv研究人员:多模态ai模型存在安全隐患

以上内容为资讯信息快照,由td.fyun.cc爬虫进行采集并收录,本站未对信息做任何修改,信息内容不代表本站立场。

快照生成时间:2024-06-26 09:45:21

本站信息快照查询为非营利公共服务,如有侵权请联系我们进行删除。

信息原文地址:

赋予人工智能更多温度
...据驱动的服务对象精准认知与最优决策技术,以及基于多模态的机器人主动服务与精准交互技术这三大核心技术,链接了物联网、精准服务分析、深度学习计算三大云端平台,实现了‘云、边、端’
2023-11-24 06:27:00
清华领衔发布多模态评估MultiTrust:GPT-4可信度有几何?
...来源何处? 近日,来自清华、北航、上交和瑞莱智慧的研究人员联合撰写百页长文,发布名为MultiTrust的综合基准,首次从多个维度和视角全面评估了主流多模态大模型的可信度,
2024-07-25 09:31:00
首个可保留情感的音频LLM!Meta重磅开源7B-Spirit LM,一网打尽「音频+文本」多模态任务
...和文本来混合:[TEXT]the cat [SPEECH][Hu3][Hu7]..[Hu200][TEXT]the mat研究人员认为
2024-11-23 09:43:00
公路水路交通基础设施数字化转型升级,卓视智通准备好了
...012年成立以来就一直专注于交通视频识别及智能分析、多模态融合感知、多模态大模型等前沿技术的原创研发,并在智慧公路与交通基础设施数字化领域实现了广泛的应用落地,公司连续多年获
2024-05-22 12:00:00
暂缓大模型:担忧的科学家,失控的AI | Future
...术造成的虚假信息,也值得警惕。据《美联社》报道,当研究人员要求制造有关疫苗等事件的虚假信息时,ChatGPT都照做了。“就好比自己精心教育的孩子,突然间就有可能走上犯罪的道路
2023-04-18 10:08:00
一文看尽Meta开源大礼包!全面覆盖图像分割、语音、文本、表征、材料发现、密码安全性等
...强。开源链接:https://github.com/facebookresearch/sam2相比SAM2,研究人员引入了额外的数据增强技术来模拟视觉相似物体和小物体
2024-11-28 12:02:00
...大量通用数据、行业数据,支持文本、图像、视频等多种模态,并打造了全流程的数据处理工具。超过700万亿字节的通用数据集可以开展通用模型训练,同时,4.33万亿字节的行业垂类数据
2024-06-16 04:14:00
MMMU华人团队更新Pro版!多模态基准升至史诗级难度:过滤纯文本问题、引入纯视觉问答
...似,但GPT-4o mini 模型的健壮性与GPT-4o相比,健壮性较差。研究人员中还探讨了 OCR 提示和思想链 (CoT) 推理的影响
2024-09-18 13:31:00
英伟达开源NVLM 1.0屠榜多模态!纯文本性能不降反升
...11402项目主页:https://nvlm-project.github.io/在模型设计方面,研究人员对纯解码器多模态大模型(如LLaVA)和基于交叉注意力的模型(如Flamingo)进行了全面对比
2024-09-24 13:36:00
更多关于科技的资讯:
中国网12月16日讯 据网信中国微信公众号消息,党的二十届四中全会明确坚持扩大内需这个战略基点,强调要大力提振消费,要以新需求引领新供给
2025-12-16 16:06:00
近日,瑞众人寿唐山中支围绕客服节“拾光美好·瑞意相伴”核心主题,开展了2025年客服节健康生活系列活动。通过线上线下融合
2025-12-16 16:04:00
【宅男财经|专家面对面】人工智能全面融入人类的生活,还有多久能够实现?工业和信息化部电子科技委主任王江平12月16日接受宅男财经采访时表示
2025-12-16 16:52:00
《科学智能生态报告》于腾冲科学家论坛发布——我国科学智能生态培育取得6项进展
12月5日至8日,由云南省人民政府和中国科学技术协会共同主办的2025腾冲科学家论坛在腾冲举行。论坛期间上海财经大学数字经济研究院与新华网融媒体未来研究院在“未来之问”可持续发展
2025-12-16 15:20:00
6.5折、每日5张!第九届雪博会优惠力度拉满了
12月18日至22日,第九届吉林冰雪产业国际博览会将在长春东北亚国际博览中心盛大启幕,以“购物最低享6.5折+1亿元冰雪消费券+企业特惠”等多重福利组合拳
2025-12-16 16:06:00
借势“疯狂动物城”热潮,叮当快药携手百多邦开启家庭健康新“城”事
伴随动画电影《疯狂动物城2》11月26日起全球热映,叮当健康旗下专业送药平台叮当快药与皮肤健康专业品牌百多邦,开展了一场覆盖线上线下的深度跨界合作
2025-12-16 14:03:00
从濒临倒闭到业绩暴增!“沸点计划”成功模型引爆区域代理签约潮
“沸点计划”上海合生汇店以一组硬核数据印证了其商业模型的爆发力:单日营业额最高突破6万元,平均翻台率稳定在5轮,远超行业平均水平
2025-12-16 14:04:00
中国消费者报南宁讯(杨霞 记者顾艳伟)知识产权纠纷曾是不少“出海”企业面临的难题。12月12日,记者从广西壮族自治区桂林市市场监管局了解到
2025-12-16 11:07:00
河北沧州:一张操作指南卡破解企业信息填报难题
中国消费者报石家庄讯(谭鑫 记者李建)记者近日从河北省沧州市标准化所获悉,今年以来,该所紧扣行风建设,以“群众易懂、流程畅通
2025-12-16 11:07:00
江苏省消保委调查货运平台发现:价格不透明、信息掺水、服务保障差等乱象突出
中国消费者报报道(记者薛晶晶)随着网络货运市场规模持续扩容,相关平台已成为货主发货、司机找活的核心渠道,但其背后的乱象也让消费者苦不堪言
2025-12-16 11:07:00
中国消费者报报道(记者李燕京)12月8日,《疯狂动物城2》在中国内地的票房突破30亿元。数据显示,截至11月30日,2025年度国产片票房已达403
2025-12-16 11:07:00
中国消费者报报道(记者桑雪骐)中央经济工作会议12月10日至11日在北京举行。在部署明年重点任务时,会议提到了“优化‘两新’政策实施”
2025-12-16 11:07:00
海尔集团与歌尔集团达成战略合作,新时达将助力歌尔深化智能制造领域布局
12月11日,海尔集团与歌尔集团正式签署战略合作协议,双方将聚焦智能家电、工业互联网、新能源及人工智能等领域展开深度合作
2025-12-16 11:33:00
于琛刚刚过去的这个“双十二”,除了各电商平台推出的促销活动,抖音出台严打“假揭黑真带货”等违规行为的多项举措,也成为人们热议的话题
2025-12-16 11:02:00
近日,全国首家“现代骑手学院”正式揭牌,该学院设在广州职业技术大学,为在职外卖骑手和快递员提供学历和技能“双提升”通道
2025-12-16 08:07:00