模型,基准,攻击,影响,安全,研究头条新闻资讯订阅

我的订阅
头条热搜

我们正处于一个信息大暴发的时代，每天都能产生数以百万计的新闻资讯！

虽然有大数据推荐，但面对海量数据，通过我们的调研发现，在一个小时的时间里，您通常无法真正有效地获取您感兴趣的资讯！

头条新闻资讯订阅，旨在帮助您收集感兴趣的资讯内容，并且在第一时间通知到您。可以有效节约您获取资讯的时间，避免错过一些关键信息。

$什么影响大模型安全？NeurIPS\\\'24新研究提出大模型越狱攻击新基准$

全新大语言模型越狱攻击基准与评估体系来了。来自香港科技大学（Guangzhou）USAIL研究团队，从攻击者和防御者的角度探讨了什么因素会影响大模型的安全。提出攻击分析系统性框架JailTrackBench。JailTrackBench研究重点分析了不同...……更多

2024-11-01 09:29:00模型,基准,攻击,影响,安全,研究

清华领衔发布多模态评估MultiTrust：GPT-4可信度

...专利产学研转化落地应用。以GPT-4o为代表的多模态大语言模型（MLLMs）因其在语言、图像等多种模态上的卓越表现而备受瞩目。它们不仅在日常工作中成为用户的得力助手，还逐渐渗透到自动驾驶、医学诊断等各大应用领域，掀...……更多

2024-07-25 09:31:00模态,清华,可信度,领衔,可信,几何

全球AI安全评估测试有了新基准

本文转自：科技日报大模型安全领域两项国际标准发布全球AI安全评估测试有了新基准随着人工智能系统，特别是大语言模型成为社会各方面不可或缺的一部分，以一个全面的标准来解决它们的安全挑战变得至关重要。◎本报记...……更多

2024-04-25 04:00:00基准,评估,测试,安全,全球,人工智能

OpenAI o1强推理能提升安全性？长对话诱导干翻o1

最近，以 OpenAI o1 为代表的 AI 大模型的推理能力得到了极大提升，在代码、数学的评估上取得了令人惊讶的效果。OpenAI 声称，推理可以让模型更好的遵守安全政策，是提升模型安全的新路径。然而，推理能力的提升真的能解决...……更多

2024-11-08 09:46:00诱导,推理,安全性,对话,安全,攻击

大模型训练被实习生攻击？字节跳动回应：已辞退

该实习生已在8月被辞退。近日有传闻称字节跳动大模型训练被实习生攻击，对此，字节跳动10月19日回应表示，经公司内部核实，确有商业化技术团队实习生发生严重违纪行为且已被辞退，但相关报道也存在部分夸大及失实信息...……更多

2024-10-19 21:50:00实习生,字节,模型,实习,攻击,训练

AI安全守护计划启动！信通院牵头，AIIA安全治理委员会发布

...治理框架、合规治理、赋能治理展开，安全组主要开展大模型安全、合规等研究及基准测试。今年6月，中国信通院依托该委员会发起“人工智能安全守护计划”，包括建立威胁信息共享机制、开展AIGC真实内容来源可信工作、建...……更多

2024-07-25 09:26:00安全,信通,模型,评测,委员会,委员

一个弹窗整懵Claude，瞬间玩不转电脑了

...AI Agent点击弹窗，甚至直接导致任务失败。VLM（视觉语言模型）智能体很容易受到弹窗干扰，而这些弹窗属于人类可一眼识别并忽略的；将弹窗集成到Agent测试环境（如OSWorld和VisualWebArena中)，平均攻击成功率为86%，并将任务成功...……更多

2024-11-09 09:52:00电脑,智能,攻击,任务,研究,成功

3秒让AI生成风险减少30%！复旦新研究拿下扩散模型概念移除

让AI绘画模型变“乖”，现在仅需3秒调整模型参数。效果be like：生成的风险图片比以往最佳方法减少30%！像这样，在充分移除梵高绘画风格的同时，对非目标艺术风格几乎没有影响。在移除裸露内容上，效果达到“只穿衣服，...……更多

2024-08-26 09:54:00复旦,生成,模型,概念,风险,研究

360集团携手中国信通院共促人工智能安全发展

本文转自：法治日报随着人工智能技术的迅猛发展，大模型在各个领域的应用日益广泛。为全力筑牢人工智能安全防线，进一步提高大模型技术的安全风险防范能力，今年2月，中国信息通信研究院（以下简称中国信通院）联合3...……更多

2024-04-09 01:58:00信通,人工智能,中国,人工,智能,集团

一文看尽Meta开源大礼包！全面覆盖图像分割、语音、文本、表

...【新智元导读】Meta最近开源了多个AI项目，包括图像分割模型SAM 2.1、多模态语言模型Spirit LM、自学评估器和改进的跨语言句子编码器Mexma等，提升了AI在图像处理和语音识别领域的能力，进一步推动了AI研究的进展。开源绝对是AI...……更多

2024-11-28 12:02:00一文,大礼包,大礼,安全性,语音,图像

中国信通院发布大模型安全基准测试报告 360智脑综合排名第一

...本文转自：中国新闻网近日，中国信息通信研究院发布大模型安全基准测试AI Safety Bench 2024年Q1的首轮测评报告(下称“测评报告”)，结果显示，三六零集团自研的认知通用大模型360智脑综合排名第一。大模型安全基准测试AI Safety...……更多

2024-04-10 20:16:00信通,基准,中国,模型,测试,报告

深度剖析：谷歌、微软等AI巨头承诺的“自愿监管”做到了吗？

...达到最泡沫”之际做出的，各家公司都在竞相推出自己的模型，并使其比竞争对手的模型更大、更好。与此同时，我们也开始看到围绕版权和深度伪造等问题的争论。Geoffrey Hinton 等有影响力的科技人士组成的游说团也提出了人...……更多

2024-07-25 14:30:00微软,巨头,剖析,监管,深度,人工智能

刚刚，OpenAI震撼发布o1大模型！强化学习突破LLM推理

大模型领域的技术发展，今天起再次「从 1 开始」了。大语言模型还能向上突破，OpenAI 再次证明了自己的实力。北京时间 9 月 13 日午夜，OpenAI 正式公开一系列全新 AI 大模型，旨在专门解决难题。这是一个重大突破，新模型可...……更多

2024-09-13 16:42:00推理,模型,极限,突破,学习,模型

MMMU华人团队更新Pro版！多模态基准升至史诗级难度：过滤

...题、增加候选选项、引入纯视觉输入设置）更严格地评估模型的多模态理解能力；模型在新基准上的性能下降明显，表明MMMU-Pro能有效避免模型依赖捷径和猜测策略的情况。多模态大型语言模型（MLLMs）在各个排行榜上展现的性...……更多

2024-09-18 13:31:00模态,史诗,基准,难度,问答,文本

这才是真开源模型！公开后训练一切，性能超越Llama 3.1

开源模型阵营又迎来一员猛将：Tülu 3。它来自艾伦人工智能研究所（Ai2），目前包含 8B 和 70B 两个版本（未来还会有 405B 版本），并且其性能超过了 Llama 3.1 Instruct 的相应版本！长达 73 的技术报告详细介绍了后训练的细节。在...……更多

2024-11-26 09:44:00模型,性能,训练,模型,训练,数据

2023 AI现状报告：GPT-4仍最强，监管方向缺乏全球共

...越来越困难。由于基准变得不那么明确，用于评估大语言模型的“基于氛围”的方法在业界越来越普遍。·人工智能安全在2023年首次占据舞台中心。但人工智能界内部存在深刻分歧，世界各国政府采取的做法相互矛盾。挑战性在...……更多

2023-10-12 15:21:00共识,监管,现状,方向,报告,全球

安全强化学习方法、理论与应用综述，慕工大、同济等深度解析

...种方法来处理安全强化学习的问题，可以大致分类为基于模型的方法和无模型的方法。1. 基于模型的安全强化学习方法：基于模型的安全强化学习方法通常依赖于对环境的建模，通过利用物理模型或近似模型进行推理和决策。这...……更多

2024-10-09 09:51:00同济,学习方法,深度,理论,方法,应用

打乱/跳过Transformer层会怎样？最新研究揭开其信息

...得出了结论。团队表示深入理解这些原理不仅能提高现有模型利用效率，还能帮助改进架构开发新的变体。谷歌DeepMind研究员、ViT作者Lucas Beyer看过后直接点了个赞：很棒的总结！尽管一些实验在之前的研究中已经被展示过了，...……更多

2024-07-27 09:29:00流动,机制,研究,信息,中间层,顺序

87.8%准确率赶超GPT-4o登顶！谷歌DeepMind发

【新智元导读】谷歌DeepMind推出LLM自动评估模型FLAMe系列，FLAMe-RM-24B模型在RewardBench上表现卓越，以87.8%准确率领先GPT-4o。大语言模型都卷起来了，模型越做越大，token越来越多，输出越来越长。那么问题来了，如何有效地评估大...……更多

2024-08-05 09:37:00准确率,模型,评估,评估,模型,数据

下载次数破39万！CMU、Meta联合发布VQAScore文

【新智元导读】VQAScore是一个利用视觉问答模型来评估由文本提示生成的图像质量的新方法；GenAI-Bench是一个包含复杂文本提示的基准测试集，用于挑战和提升现有的图像生成模型。两个工具可以帮助研究人员自动评估AI模型的...……更多

2024-11-07 09:53:00文生,次数,联合,方案,模型,文生

谷歌CEO皮查伊深度解析谷歌史上最强大模型Gemini及即将

...消息，美国当地时间周三，谷歌发布了其新一代人工智能模型Gemini。Gemini反映了谷歌内部多年来在首席执行官桑达尔·皮查伊（Sundar Pichai）的监督和推动下所做的努力。此前负责Chrome和安卓业务的皮查伊是出了名的产品迷。2016...……更多

2023-12-07 17:28:00人工智能,人工,深度,模型,智能,时代

谷歌 AI 推出 CardBench 评估框架

...用的基数估计技术，依赖于启发式（Heuristic）方法和简化模型，例如假设数据统一和列独立。这些方法虽然计算效率高，但往往需要准确预测基数，在涉及多个表和过滤器的复杂查询中表现尤为明显。最新的数据驱动方法试图在...……更多

2024-09-04 09:48:00框架,评估,数据,模型,基准,查询

迈向多语言医疗大模型:大规模预训练语料,开源模型与全面基准测

...这是该团队在继 PMC-LLaMA 后，在持续构建开源医疗语言大模型的最新进展。该项目受到科创 2030—“新一代人工智能” 重大项目支持。在医疗领域中，大语言模型已经有了广泛的研究。然而，这些进展主要依赖于英语的基座模型...……更多

2024-09-30 09:51:00多语,大规,模型,语料,基准,大规模

多样任务真实数据，大模型在线购物基准Shopping MML

谁是在线购物领域最强大模型？也有评测基准了。基于真实在线购物数据，电商巨头亚马逊终于“亮剑”——联合香港科技大学、圣母大学构建了一个大规模、多任务评测基准Shopping MMLU，用以评估大语言模型在在线购物领域的...……更多

2024-11-21 09:45:00在线购物,基准,模型,任务,购物,数据

无一大模型及格！北大/通研院提出超难基准，评估长文本理解生

在长文本理解能力这块，竟然没有一个大模型及格！北大联合北京通用人工智能研究院提出了一个新基准数据集：LooGLE，专门用于测试和评估大语言模型（LLMs）长上下文理解能力。该数据集既能够评估LLMs对长文本的处理和检索...……更多

2024-08-08 09:39:00基准,北大,生成,模型,文本,评估

国际组织WDTA首次就大模型安全发布国际标准，蚂蚁集团、Op

...，包括《生成式人工智能应用安全测试标准》和《大语言模型安全测试方法》两项国际标准。这是国际组织首次就大模型安全领域发布国际标准，代表全球人工智能安全评估和测试进入新的基准。据了解，这两项国际标准是由Ope...……更多

2024-04-17 13:40:00讯飞,国际,国际组织,国际标准,蚂蚁,模型

冰毒配方脱口而出，过去时态让GPT-4o防线崩塌！成功率从1

【新智元导读】最高端的大模型，往往需要最朴实的语言破解。来自EPFL机构研究人员发现，仅将一句有害请求，改写成过去时态，包括GPT-4o、Llama 3等大模型纷纷沦陷了。将一句话从「现在时」变为「过去时」，就能让LLM成功越...……更多

2024-07-22 09:44:00冰毒,而出,时态,成功率,防线,配方

自动化、可复现，基于大语言模型群体智能的多维评估基准

...BZUAI 等学术机构学者组成的开源组织，致力于发展大语言模型 (LLM)、世界模型 (World Model)、智能体模型 (Agent Model) 的技术以构建 AI 驱动的现实。Maitrix.org 此前成功开发了 Pandora 视频-语言世界模型、LLM Reasoners，以及……更多

2024-10-23 12:03:00多维,基准,群体,模型,自动化,评估

meta推出ai检测套件，可帮助开发者检测自家AI安全性

...助开发者检测自家AI安全性，并“负责任地部署生成式AI模型与应用程序”。获悉，PurpleLlama套件目前提供“CyberSecEval”评估工具、LlamaGuard“输入输出安全分类器”，Meta声称，之后会有更多的工具加入这一套件。Meta介绍称，Purple...……更多

2023-12-09 11:07:00检测,套件,开发者,安全性,帮助,安全