• 我的订阅
  • 头条热搜
什么影响大模型安全?NeurIPS\\\'24新研究提出大模型越狱攻击新基准
全新大语言模型越狱攻击基准与评估体系来了。来自香港科技大学(Guangzhou)USAIL研究团队,从攻击者和防御者的角度探讨了什么因素会影响大模型的安全。提出攻击分析系统性框架JailTrackBench。JailTrackBench研究重点分析了不同...……更多
清华领衔发布多模态评估MultiTrust:GPT-4可信度有几何?
...专利产学研转化落地应用。以GPT-4o为代表的多模态大语言模型(MLLMs)因其在语言、图像等多种模态上的卓越表现而备受瞩目。它们不仅在日常工作中成为用户的得力助手,还逐渐渗透到自动驾驶、医学诊断等各大应用领域,掀...……更多
全球AI安全评估测试有了新基准
本文转自:科技日报大模型安全领域两项国际标准发布全球AI安全评估测试有了新基准随着人工智能系统,特别是大语言模型成为社会各方面不可或缺的一部分,以一个全面的标准来解决它们的安全挑战变得至关重要。◎本报记...……更多
OpenAI o1强推理能提升安全性?长对话诱导干翻o1
最近,以 OpenAI o1 为代表的 AI 大模型的推理能力得到了极大提升,在代码、数学的评估上取得了令人惊讶的效果。OpenAI 声称,推理可以让模型更好的遵守安全政策,是提升模型安全的新路径。然而,推理能力的提升真的能解决...……更多
该实习生已在8月被辞退。近日有传闻称字节跳动大模型训练被实习生攻击,对此,字节跳动10月19日回应表示,经公司内部核实,确有商业化技术团队实习生发生严重违纪行为且已被辞退,但相关报道也存在部分夸大及失实信息...……更多
AI安全守护计划启动!信通院牵头,AIIA安全治理委员会发布三类模型安全评测
...治理框架、合规治理、赋能治理展开,安全组主要开展大模型安全、合规等研究及基准测试。今年6月,中国信通院依托该委员会发起“人工智能安全守护计划”,包括建立威胁信息共享机制、开展AIGC真实内容来源可信工作、建...……更多
一个弹窗整懵Claude,瞬间玩不转电脑了
...AI Agent点击弹窗,甚至直接导致任务失败。VLM(视觉语言模型)智能体很容易受到弹窗干扰,而这些弹窗属于人类可一眼识别并忽略的;将弹窗集成到Agent测试环境(如OSWorld和VisualWebArena中),平均攻击成功率为86%,并将任务成功...……更多
3秒让AI生成风险减少30%!复旦新研究拿下扩散模型概念移除新SOTA
让AI绘画模型变“乖”,现在仅需3秒调整模型参数。效果be like:生成的风险图片比以往最佳方法减少30%!像这样,在充分移除梵高绘画风格的同时,对非目标艺术风格几乎没有影响。在移除裸露内容上,效果达到“只穿衣服,...……更多
本文转自:法治日报随着人工智能技术的迅猛发展,大模型在各个领域的应用日益广泛。为全力筑牢人工智能安全防线,进一步提高大模型技术的安全风险防范能力,今年2月,中国信息通信研究院(以下简称中国信通院)联合3...……更多
惊掉下巴!被字节起诉800万实习生,拿下NeurIPS 2024最佳论文
...智元了解,字节商业化技术团队早在去年就把视觉自回归模型作为重要的研究方向,团队规划了VAR为高优项目,投入研究小组和大量资源。 除了VAR,团队还发表了LlamaGen等相关技术论文,新的研究成果也将在近期陆续放出。事...……更多
关于LLM-as-a-judge范式,终于有综述讲明白了
...往无法判断精妙的属性并提供令人满意的结果。大型语言模型 (LLM) 的最新进展启发了 “LLM-as-a-judge” 范式,其中 LLM 被用于在各种任务和应用程序中执行评分、排名或选择。本文对基于 LLM 的判断和评估进行了全面的调查,为推...……更多
一文看尽Meta开源大礼包!全面覆盖图像分割、语音、文本、表征、材料发现、密码安全性等
...【新智元导读】Meta最近开源了多个AI项目,包括图像分割模型SAM 2.1、多模态语言模型Spirit LM、自学评估器和改进的跨语言句子编码器Mexma等,提升了AI在图像处理和语音识别领域的能力,进一步推动了AI研究的进展。开源绝对是AI...……更多
中国信通院发布大模型安全基准测试报告 360智脑综合排名第一
...本文转自:中国新闻网近日,中国信息通信研究院发布大模型安全基准测试AI Safety Bench 2024年Q1的首轮测评报告(下称“测评报告”),结果显示,三六零集团自研的认知通用大模型360智脑综合排名第一。大模型安全基准测试AI Safety...……更多
深度剖析:谷歌、微软等AI巨头承诺的“自愿监管”做到了吗?
...达到最泡沫”之际做出的,各家公司都在竞相推出自己的模型,并使其比竞争对手的模型更大、更好。与此同时,我们也开始看到围绕版权和深度伪造等问题的争论。Geoffrey Hinton 等有影响力的科技人士组成的游说团也提出了人...……更多
刚刚,OpenAI震撼发布o1大模型!强化学习突破LLM推理极限
大模型领域的技术发展,今天起再次「从 1 开始」了。大语言模型还能向上突破,OpenAI 再次证明了自己的实力。北京时间 9 月 13 日午夜,OpenAI 正式公开一系列全新 AI 大模型,旨在专门解决难题。这是一个重大突破,新模型可...……更多
MMMU华人团队更新Pro版!多模态基准升至史诗级难度:过滤纯文本问题、引入纯视觉问答
...题、增加候选选项、引入纯视觉输入设置)更严格地评估模型的多模态理解能力;模型在新基准上的性能下降明显,表明MMMU-Pro能有效避免模型依赖捷径和猜测策略的情况。多模态大型语言模型(MLLMs)在各个排行榜上展现的性...……更多
谷歌新模型能识别人类情绪了!但不少人开始担心
...西12月6日消息,据TechCrunch报道,谷歌昨日发布了新一代AI模型PaliGemma 2,并宣称该模型具有情感识别的能力。谷歌表示,PaliGemma 2不仅能够分析图像并生成详细的图片描述,还能识别图像中人物的情感状态。据TechCrunch报道,要实...……更多
这才是真开源模型!公开后训练一切,性能超越Llama 3.1 Instruct
开源模型阵营又迎来一员猛将:Tülu 3。它来自艾伦人工智能研究所(Ai2),目前包含 8B 和 70B 两个版本(未来还会有 405B 版本),并且其性能超过了 Llama 3.1 Instruct 的相应版本!长达 73 的技术报告详细介绍了后训练的细节。在...……更多
2023 AI现状报告:GPT-4仍最强,监管方向缺乏全球共识
...越来越困难。由于基准变得不那么明确,用于评估大语言模型的“基于氛围”的方法在业界越来越普遍。·人工智能安全在2023年首次占据舞台中心。但人工智能界内部存在深刻分歧,世界各国政府采取的做法相互矛盾。挑战性在...……更多
安全强化学习方法、理论与应用综述,慕工大、同济等深度解析
...种方法来处理安全强化学习的问题,可以大致分类为基于模型的方法和无模型的方法。1. 基于模型的安全强化学习方法:基于模型的安全强化学习方法通常依赖于对环境的建模,通过利用物理模型或近似模型进行推理和决策。这...……更多
打乱/跳过Transformer层会怎样?最新研究揭开其信息流动机制
...得出了结论。团队表示深入理解这些原理不仅能提高现有模型利用效率,还能帮助改进架构开发新的变体。谷歌DeepMind研究员、ViT作者Lucas Beyer看过后直接点了个赞:很棒的总结!尽管一些实验在之前的研究中已经被展示过了,...……更多
87.8%准确率赶超GPT-4o登顶!谷歌DeepMind发布自动评估模型FLAMe
【新智元导读】谷歌DeepMind推出LLM自动评估模型FLAMe系列,FLAMe-RM-24B模型在RewardBench上表现卓越,以87.8%准确率领先GPT-4o。大语言模型都卷起来了,模型越做越大,token越来越多,输出越来越长。那么问题来了,如何有效地评估大...……更多
下载次数破39万!CMU、Meta联合发布VQAScore文生图优化方案:Imagen3已采用
【新智元导读】VQAScore是一个利用视觉问答模型来评估由文本提示生成的图像质量的新方法;GenAI-Bench是一个包含复杂文本提示的基准测试集,用于挑战和提升现有的图像生成模型。两个工具可以帮助研究人员自动评估AI模型的...……更多
...消息,美国当地时间周三,谷歌发布了其新一代人工智能模型Gemini。Gemini反映了谷歌内部多年来在首席执行官桑达尔·皮查伊(Sundar Pichai)的监督和推动下所做的努力。此前负责Chrome和安卓业务的皮查伊是出了名的产品迷。2016...……更多
谷歌 AI 推出 CardBench 评估框架
...用的基数估计技术,依赖于启发式(Heuristic)方法和简化模型,例如假设数据统一和列独立。这些方法虽然计算效率高,但往往需要准确预测基数,在涉及多个表和过滤器的复杂查询中表现尤为明显。最新的数据驱动方法试图在...……更多
迈向多语言医疗大模型:大规模预训练语料,开源模型与全面基准测试
...这是该团队在继 PMC-LLaMA 后,在持续构建开源医疗语言大模型的最新进展。该项目受到科创 2030—“新一代人工智能” 重大项目支持。在医疗领域中,大语言模型已经有了广泛的研究。然而,这些进展主要依赖于英语的基座模型...……更多
GPT-4不仅性能更强也更贵了:单次输出7.5万单词需6美元,是此前的30倍
...为“我要失业了!”3月15日凌晨,OpenAI正式发布多模态大模型GPT-4,它可以接受图像和文本输入。虽然在许多现实世界场景中的能力不如人类,但在各种专业和学术基准上表现出人类水平,比如在法律考试中可以打败90%的人类。...……更多
字节开源全栈AI编程基准,不小心曝光豆包代码大模型
豆包代码大模型,不小心给曝光了!在字节开源的代码大模型评估基准FullStack Bench里面,出现了此前字节未披露过的Doubao-Coder。不过目前还只是Preview版,还并没有上线。它在多种编程语言上的性能表现如下,可以看到在闭源模...……更多
多样任务真实数据,大模型在线购物基准Shopping MMLU开源
谁是在线购物领域最强大模型?也有评测基准了。基于真实在线购物数据,电商巨头亚马逊终于“亮剑”——联合香港科技大学、圣母大学构建了一个大规模、多任务评测基准Shopping MMLU,用以评估大语言模型在在线购物领域的...……更多
无一大模型及格! 北大/通研院提出超难基准,评估长文本理解生成
在长文本理解能力这块,竟然没有一个大模型及格!北大联合北京通用人工智能研究院提出了一个新基准数据集:LooGLE,专门用于测试和评估大语言模型(LLMs)长上下文理解能力。该数据集既能够评估LLMs对长文本的处理和检索...……更多
更多关于科技的资讯:
中兴/努比亚手机国补正式上线:至高立减400元
快科技1月11日消息,官方已经明确,2025年的国补将加入手机、平板、智能手表手环等3类数码产品。不过在价格上有一定限制
2025-01-11 10:21:00
华为智能汽车解决方案BU CEO谈特斯拉中国卖得好:销量来自创新 靠抄袭做不了行业领导者
快科技1月11日消息,日前,特斯拉焕新Model Y正式上线中国官网。官方对新Model Y相当自信,放话“尽管对比”
2025-01-11 10:21:00
1月7日,中国太保旗下太平洋健康险主办的“珊瑚守护 失能有助”——珊瑚1号·失能收入损失险(简称珊瑚1号)新品发布会在2025分子保险科技节举行
2025-01-11 10:27:00
深圳小学数学试卷难上热搜:有家长85分钟才做完 网友直呼不可思议
1月11日消息,近日深圳南山区小学数学期末考试登上了热搜,因为真的是太难了。因题目过难,阅读量过大,不仅是四年级,参加数学考试的多个年级都出现了延时情况
2025-01-11 10:51:00
司机都下岗的节奏!黄仁勋:未来汽车将全自动驾驶
快科技1月11日消息,对于司机这个岗位来说,以后可能都有没有必要存在了。英伟达CEO黄仁勋在CES展会上表示,到20年后所有汽车都将具备自动驾驶功能
2025-01-11 07:51:00
传《光环》登陆Switch 2
播客节目NateTheHate透露说,微软正将昔日独占作品引入任天堂平台,大力支持即将发布的Switch 2——今年要面向PS5与Switch 2发布《微软飞行模拟》与《光环
2025-01-11 07:51:00
i3默秒全再也看不到了!AMD:Intel如今的CPU太差劲 导致我们不愁卖
快科技1月11日消息,十年河东,十年河西。科技市场风云变幻,谁又能想到,曾经的“i3默秒全”早已不在,变成了X3D“大杀四方”
2025-01-11 07:51:00
赠退货宝:基达5A加绒保暖内衣套装59.9元大促
基达5A加绒保暖内衣套装日常售价99.9元,今日领取40元优惠券,到手价59.9元。男款有藏青、黑灰、浅灰、摩卡棕,四种颜色可选
2025-01-11 08:21:00
礼袋包装:翠春园茗茶(金骏眉/大红袍/十年陈皮)礼盒5两58元大促
翠春园铁观音/金骏眉/大红袍/十年陈皮/正山小种200~300g官方标价358元,今日下单可领300元大额券+送礼袋,到手价58元
2025-01-11 08:21:00
科学家向下钻探近3公里:挖出南极120万年前远古冰核 探寻人类祖先更新世为何没灭绝
快科技1月11日消息,人类记录天气只有数千年历史,而南极冰层记录天气已有上百万年历史。最近,来自欧盟资助的Beyond EPICA——“最古老冰”项目团队的科学家们
2025-01-11 08:21:00
比去年增18%!苹果CEO库克年薪公布:至少能买6万台顶配iPhone 16
快科技1月11日消息,相比去年来说,苹果CEO库克的年薪又增加了。苹果公司当地时间1月10日披露的文件显示,公司CEO蒂姆·库克2024年薪酬达到7460万美元
2025-01-11 08:21:00
10日下午,“2025浙江网上年货节”启动仪式在杭州举行。1月7日至2月5日期间,活动将联合30多家主要电商平台、机构
2025-01-11 08:49:00
2024年,广大浙商在加快建设创新浙江、因地制宜发展新质生产力的征程上勇当先行者,在充满挑战的年份里点亮浙江经济的浩瀚星辰
2025-01-11 08:49:00
陈奕迅泰国演唱会取消引热议:官方称系安全考量 全额退款
1月11日,据@圣峰演艺 :自陈奕迅 FEAR and DREAMS 世界巡回演唱会举办曼谷站的消息公布以来,我们感受到了来自海内外歌迷朋友们的巨大热情
2025-01-11 08:51:00
本文转自:人民网-贵州频道近年来,工行六盘水分行以推动数字化转型为战略方向,通过多样化的场景金融服务布局,提升客户满意度
2025-01-11 09:04:00