• 我的订阅
  • 头条热搜
什么影响大模型安全?NeurIPS\\\'24新研究提出大模型越狱攻击新基准
全新大语言模型越狱攻击基准与评估体系来了。来自香港科技大学(Guangzhou)USAIL研究团队,从攻击者和防御者的角度探讨了什么因素会影响大模型的安全。提出攻击分析系统性框架JailTrackBench。JailTrackBench研究重点分析了不同...……更多
清华领衔发布多模态评估MultiTrust:GPT-4可信度有几何?
...专利产学研转化落地应用。以GPT-4o为代表的多模态大语言模型(MLLMs)因其在语言、图像等多种模态上的卓越表现而备受瞩目。它们不仅在日常工作中成为用户的得力助手,还逐渐渗透到自动驾驶、医学诊断等各大应用领域,掀...……更多
全球AI安全评估测试有了新基准
本文转自:科技日报大模型安全领域两项国际标准发布全球AI安全评估测试有了新基准随着人工智能系统,特别是大语言模型成为社会各方面不可或缺的一部分,以一个全面的标准来解决它们的安全挑战变得至关重要。◎本报记...……更多
OpenAI o1强推理能提升安全性?长对话诱导干翻o1
最近,以 OpenAI o1 为代表的 AI 大模型的推理能力得到了极大提升,在代码、数学的评估上取得了令人惊讶的效果。OpenAI 声称,推理可以让模型更好的遵守安全政策,是提升模型安全的新路径。然而,推理能力的提升真的能解决...……更多
该实习生已在8月被辞退。近日有传闻称字节跳动大模型训练被实习生攻击,对此,字节跳动10月19日回应表示,经公司内部核实,确有商业化技术团队实习生发生严重违纪行为且已被辞退,但相关报道也存在部分夸大及失实信息...……更多
AI安全守护计划启动!信通院牵头,AIIA安全治理委员会发布三类模型安全评测
...治理框架、合规治理、赋能治理展开,安全组主要开展大模型安全、合规等研究及基准测试。今年6月,中国信通院依托该委员会发起“人工智能安全守护计划”,包括建立威胁信息共享机制、开展AIGC真实内容来源可信工作、建...……更多
一个弹窗整懵Claude,瞬间玩不转电脑了
...AI Agent点击弹窗,甚至直接导致任务失败。VLM(视觉语言模型)智能体很容易受到弹窗干扰,而这些弹窗属于人类可一眼识别并忽略的;将弹窗集成到Agent测试环境(如OSWorld和VisualWebArena中),平均攻击成功率为86%,并将任务成功...……更多
3秒让AI生成风险减少30%!复旦新研究拿下扩散模型概念移除新SOTA
让AI绘画模型变“乖”,现在仅需3秒调整模型参数。效果be like:生成的风险图片比以往最佳方法减少30%!像这样,在充分移除梵高绘画风格的同时,对非目标艺术风格几乎没有影响。在移除裸露内容上,效果达到“只穿衣服,...……更多
本文转自:法治日报随着人工智能技术的迅猛发展,大模型在各个领域的应用日益广泛。为全力筑牢人工智能安全防线,进一步提高大模型技术的安全风险防范能力,今年2月,中国信息通信研究院(以下简称中国信通院)联合3...……更多
中国信通院发布大模型安全基准测试报告 360智脑综合排名第一
...本文转自:中国新闻网近日,中国信息通信研究院发布大模型安全基准测试AI Safety Bench 2024年Q1的首轮测评报告(下称“测评报告”),结果显示,三六零集团自研的认知通用大模型360智脑综合排名第一。大模型安全基准测试AI Safety...……更多
深度剖析:谷歌、微软等AI巨头承诺的“自愿监管”做到了吗?
...达到最泡沫”之际做出的,各家公司都在竞相推出自己的模型,并使其比竞争对手的模型更大、更好。与此同时,我们也开始看到围绕版权和深度伪造等问题的争论。Geoffrey Hinton 等有影响力的科技人士组成的游说团也提出了人...……更多
刚刚,OpenAI震撼发布o1大模型!强化学习突破LLM推理极限
大模型领域的技术发展,今天起再次「从 1 开始」了。大语言模型还能向上突破,OpenAI 再次证明了自己的实力。北京时间 9 月 13 日午夜,OpenAI 正式公开一系列全新 AI 大模型,旨在专门解决难题。这是一个重大突破,新模型可...……更多
MMMU华人团队更新Pro版!多模态基准升至史诗级难度:过滤纯文本问题、引入纯视觉问答
...题、增加候选选项、引入纯视觉输入设置)更严格地评估模型的多模态理解能力;模型在新基准上的性能下降明显,表明MMMU-Pro能有效避免模型依赖捷径和猜测策略的情况。多模态大型语言模型(MLLMs)在各个排行榜上展现的性...……更多
2023 AI现状报告:GPT-4仍最强,监管方向缺乏全球共识
...越来越困难。由于基准变得不那么明确,用于评估大语言模型的“基于氛围”的方法在业界越来越普遍。·人工智能安全在2023年首次占据舞台中心。但人工智能界内部存在深刻分歧,世界各国政府采取的做法相互矛盾。挑战性在...……更多
安全强化学习方法、理论与应用综述,慕工大、同济等深度解析
...种方法来处理安全强化学习的问题,可以大致分类为基于模型的方法和无模型的方法。1. 基于模型的安全强化学习方法:基于模型的安全强化学习方法通常依赖于对环境的建模,通过利用物理模型或近似模型进行推理和决策。这...……更多
打乱/跳过Transformer层会怎样?最新研究揭开其信息流动机制
...得出了结论。团队表示深入理解这些原理不仅能提高现有模型利用效率,还能帮助改进架构开发新的变体。谷歌DeepMind研究员、ViT作者Lucas Beyer看过后直接点了个赞:很棒的总结!尽管一些实验在之前的研究中已经被展示过了,...……更多
87.8%准确率赶超GPT-4o登顶!谷歌DeepMind发布自动评估模型FLAMe
【新智元导读】谷歌DeepMind推出LLM自动评估模型FLAMe系列,FLAMe-RM-24B模型在RewardBench上表现卓越,以87.8%准确率领先GPT-4o。大语言模型都卷起来了,模型越做越大,token越来越多,输出越来越长。那么问题来了,如何有效地评估大...……更多
下载次数破39万!CMU、Meta联合发布VQAScore文生图优化方案:Imagen3已采用
【新智元导读】VQAScore是一个利用视觉问答模型来评估由文本提示生成的图像质量的新方法;GenAI-Bench是一个包含复杂文本提示的基准测试集,用于挑战和提升现有的图像生成模型。两个工具可以帮助研究人员自动评估AI模型的...……更多
...消息,美国当地时间周三,谷歌发布了其新一代人工智能模型Gemini。Gemini反映了谷歌内部多年来在首席执行官桑达尔·皮查伊(Sundar Pichai)的监督和推动下所做的努力。此前负责Chrome和安卓业务的皮查伊是出了名的产品迷。2016...……更多
谷歌 AI 推出 CardBench 评估框架
...用的基数估计技术,依赖于启发式(Heuristic)方法和简化模型,例如假设数据统一和列独立。这些方法虽然计算效率高,但往往需要准确预测基数,在涉及多个表和过滤器的复杂查询中表现尤为明显。最新的数据驱动方法试图在...……更多
迈向多语言医疗大模型:大规模预训练语料,开源模型与全面基准测试
...这是该团队在继 PMC-LLaMA 后,在持续构建开源医疗语言大模型的最新进展。该项目受到科创 2030—“新一代人工智能” 重大项目支持。在医疗领域中,大语言模型已经有了广泛的研究。然而,这些进展主要依赖于英语的基座模型...……更多
无一大模型及格! 北大/通研院提出超难基准,评估长文本理解生成
在长文本理解能力这块,竟然没有一个大模型及格!北大联合北京通用人工智能研究院提出了一个新基准数据集:LooGLE,专门用于测试和评估大语言模型(LLMs)长上下文理解能力。该数据集既能够评估LLMs对长文本的处理和检索...……更多
国际组织WDTA首次就大模型安全发布国际标准,蚂蚁集团、OpenAI、科大讯飞等参编
...,包括《生成式人工智能应用安全测试标准》和《大语言模型安全测试方法》两项国际标准。这是国际组织首次就大模型安全领域发布国际标准,代表全球人工智能安全评估和测试进入新的基准。据了解,这两项国际标准是由Ope...……更多
冰毒配方脱口而出,过去时态让GPT-4o防线崩塌!成功率从1%暴涨至88%
【新智元导读】最高端的大模型,往往需要最朴实的语言破解。来自EPFL机构研究人员发现,仅将一句有害请求,改写成过去时态,包括GPT-4o、Llama 3等大模型纷纷沦陷了。将一句话从「现在时」变为「过去时」,就能让LLM成功越...……更多
自动化、可复现,基于大语言模型群体智能的多维评估基准
...BZUAI 等学术机构学者组成的开源组织,致力于发展大语言模型 (LLM)、世界模型 (World Model)、智能体模型 (Agent Model) 的技术以构建 AI 驱动的现实。Maitrix.org 此前成功开发了 Pandora 视频-语言世界模型、LLM Reasoners,以及……更多
...助开发者检测自家AI安全性,并“负责任地部署生成式AI模型与应用程序”。获悉,PurpleLlama套件目前提供“CyberSecEval”评估工具、LlamaGuard“输入输出安全分类器”,Meta声称,之后会有更多的工具加入这一套件。Meta介绍称,Purple...……更多
科学家建立新评价基准,助力评估大模型数据分析能力
...术背景人员不可或缺的工具。以 GPT-4 为代表的大型语言模型,它们已经能够理解自然语言查询,并能生成相应的代码或分析,让自动数据分析变得更加接近现实。例如,Devin 的成功,激发了人们对基于大语言模型的自动数据分...……更多
大模型集体失控!南洋理工新型攻击,主流AI无一幸免
... 萧箫 发自 凹非寺量子位 | 公众号 QbitAI业界最领先的大模型们,竟然集体“越狱”了!不止是GPT-4,就连平时不咋出错的Bard、Bing Chat也全线失控,有的要黑掉网站,有的甚至扬言要设计恶意软件入侵银行系统:这并非危言耸听...……更多
Pika爆火,但AI视频还没到「GPT时刻」;首个GPT-4驱动的人形机器人;微软小模型击败大模型丨AI新零售早报
...PT时刻」》AI视频背后有两条技术路线,一条基于Transformer模型,另一条基于扩散模型(Diffusion model)。尽管AI视频技术取得进展,但还未达到真正的GPT时刻,即AI视频融入视频生产工作流并满足广泛需求的阶段。目前AI视频领域的...……更多
OpenAI重拾规则系统,用「AI版机器人定律」守护大模型安全
在大算力和大数据让基于统计的 AI 模型真正变得强大且有用之前,基于规则的系统长期以来是语言模型的主导范式。顾名思义,基于规则的系统就是依赖人类编码的规则来执行决策。这种方式构建的 AI 虽然简单,但在某些特定...……更多
更多关于科技的资讯:
折叠屏iPhone前瞻:书本式折叠方案 定价或超2万元
苹果一直以来都在持续推出高端iPhone,以高利润来应对整体销量下滑的挑战。近日天风国际证券分析师郭明錤发布简报,预测苹果公司将于2026年底或2027年初发布其首款折叠屏iPhone
2025-03-06 22:43:00
选装价4.2万!小米SU7 Ultra碳纤维双风道前舱盖受损太多没法修
快科技3月6日消息,今日,小米汽车发布答网友问第117集,都是一些很实用的注意提醒。对于小米SU7 Ultra的碳纤维双风道前舱盖如果发生碰撞
2025-03-06 22:43:00
豪华品牌标配!小米汽车宣布免费提供维修代步车
快科技3月6日消息,在小米汽车最新一期的答网友问中,针对新提小米SU7 Ultra车主提出的“免费代步车”问题进行了回复
2025-03-06 23:13:00
顶配价格超10万!苹果新款MacBook Air/MacStudio看点汇总
3月5日晚,苹果发布了包括搭载M4芯片的MacBook Air、Mac Studio以及突破性的M3 Ultra芯片在内的新品
2025-03-06 23:13:00
男子在杭州太子山意外拍到黄山:光明顶清晰可见
3月6日消息,据媒体报道,浙江杭州杨先生在杭州太子尖拍摄到安徽黄山的壮观云海。当事人表示,杭州太子尖到安徽黄山直线距离约70公里
2025-03-06 23:13:00
【浪潮星锐】商广勇:关于我职业生涯关键词的三次进化
对于商广勇来说,“创新”是他职业生涯的一大关键词。在浪潮近二十年,在他看来,创新是自己一直不变的底色,但每个阶段对于创新的理解也不尽相同
2025-03-06 23:27:00
超跑同款!小米SU7 Ultra主动尾部扩散器有何作用:官方解答来了
快科技3月6日消息,在最新一期的小米汽车答网友问中,官方详细解释了小米SU7 Ultra主动尾部扩散器的作用。该扩散器位于车尾下方
2025-03-06 23:43:00
《双人成行》团队新作《双影奇境》今日发售:国区198元 全球最低价
快科技3月7日消息,今天零点,2021年TGA年度游戏《双人成行》团队新作——《双影奇境》国区正式解禁开售,国区售价198元
2025-03-07 00:43:00
中国移动董事长杨杰:正全面进行6G研发 比5G有三方面升级
快科技3月7日消息,5G方兴未艾,而6G已离我们越来越近。据中证金牛座,日前,中国移动董事长杨杰接受采访时表示:“我们正在全面进行6G研发
2025-03-07 00:43:00
替代高通!曝苹果自研基带升级版明年量产:补齐最后一块短板 支持毫米波
快科技3月7日消息,分析师郭明錤爆料,苹果C1基带的升级版计划明年量产,新款基带芯片支持毫米波,补齐最后一块短板。郭明錤指出
2025-03-07 00:43:00
在快节奏的工作环境中,管理者作为团队的领航人物,其角色至关重要。然而,当管理者逐渐脱离实际业务,沉浸在会议、报告和宏观规划中时
2025-03-07 02:08:00
烟台高新区:抢占未来发展“智”高点
胶东在线3月3日讯(通讯员 郭健) 人工智能作为新一轮科技革命的关键驱动力,对国家级高新区发展意义重大。烟台高新区卫生健康局持续聚焦人工智能产业
2025-03-07 03:03:00
本文转自:人民日报邹  翔人工智能会取代你我吗?这一话题引发热议,有代表委员认为人工智能正赋能千行百业并逐渐取代人工,还有代表委员认为要加强学习
2025-03-07 06:11:00
本文转自:人民日报人工智能(AI)是科学技术发展到新一轮的最新变革,它不仅推动产业升级,改变传统经济的面貌,而且对人类社会生活产生深远影响
2025-03-07 06:13:00
一块医药:助力构建医药供应链新生态  提升服务品质助力美好生活
本文转自:人民日报作为国内领先的成长型连锁药店供应链与运营服务商,湖南一块医药科技有限公司(简称“一块医药”)始终秉持“技术驱动+全链路赋能”的企业战略
2025-03-07 06:13:00