基准,北大,生成,模型,文本,评估头条新闻资讯订阅

我的订阅
头条热搜

我们正处于一个信息大暴发的时代，每天都能产生数以百万计的新闻资讯！

虽然有大数据推荐，但面对海量数据，通过我们的调研发现，在一个小时的时间里，您通常无法真正有效地获取您感兴趣的资讯！

头条新闻资讯订阅，旨在帮助您收集感兴趣的资讯内容，并且在第一时间通知到您。可以有效节约您获取资讯的时间，避免错过一些关键信息。

无一大模型及格！北大/通研院提出超难基准，评估长文本理解生

...型及格！北大联合北京通用人工智能研究院提出了一个新基准数据集：LooGLE，专门用于测试和评估大语言模型（LLMs）长上下文理解能力。该数据集既能够评估LLMs对长文本的处理和检索能力，又可以评估其对文本长程依赖的建模...……更多

2024-08-08 09:39:00基准,北大,生成,模型,文本,评估

全模态对齐框架align-anything来啦：实现跨模态指

... 支持多种开、闭源对齐评估：支持了 30 多个多模态评测基准，包括如 MMBench、VideoMME 等多模态理解评测，以及如 FID、HPSv2 等多模态生成评测训练框架北大对齐小组设计了高度模块化、扩展性以及简单易用的对齐训练框架，支持...……更多

2024-10-18 09:47:00模态,指令,框架,模态,模型,数据

北大推出全新机器人多模态大模型！面向通用和机器人场景的高效推

...多种操作技能。在实验中，RoboMamba 在通用和机器人评估基准上展示了出色的推理能力，如图 2 所示。同时，我们的模型在模拟和现实世界实验中展示了令人印象深刻的操纵位姿预测能力，其推理速度比现有的机器人 MLLMs 快 7 倍...……更多

2024-06-21 09:52:00机器,模态,人多,机器人,推理,北大

下载次数破39万！CMU、Meta联合发布VQAScore文

...图像质量的新方法；GenAI-Bench是一个包含复杂文本提示的基准测试集，用于挑战和提升现有的图像生成模型。两个工具可以帮助研究人员自动评估AI模型的性能，还能通过选择最佳候选图像来实际改善生成的图像。近年来，生成...……更多

2024-11-07 09:53:00文生,次数,联合,方案,模型,文生

NeurIPS | 消除多对多问题，清华大规模细粒度视频片段

...粒度标注系统 VERIFIED，并基于此系统构建新的细粒度 VCMR 基准数据集（Charades-FIG、DiDeMo-FIG 和 ActivityNet-FIG），以推动细粒度视频理解的发展。论文题目：VERIFIED: A Video Corpus Moment Retrieval Be……更多

2024-10-29 09:55:00大规,粒度,范式,清华,片段,大规模

文生图参数量升至240亿！Playground v3发布：深

...nd v3（简称PGv3），将模型参数量扩展到240亿，在多个测试基准上达到了最先进的性能，更擅长图形设计。与传统依赖于预训练语言模型如T5或CLIP文本编码器的文本到图像生成模型不同，PGv3完全集成了大型语言模型（LLMs），基于...……更多

2024-10-08 09:48:00文生,图形设计,深度,图形,人类,参数

AI科学家太多，谁靠谱一试便知！普林斯顿新基准CORE-Be

【新智元导读】普林斯顿大学新发布的CORE-Bench基准测试，通过270个基于90篇跨学科科学论文的任务，可评估AI智能体在计算可重复性方面的表现，最简单任务的准确率可以达到60%，最难任务准确率仅有21%大模型的能力越来越强，...……更多

2024-09-26 13:38:00普林,普林斯顿,斯顿,准确率,基准,科学家

MMMU华人团队更新Pro版！多模态基准升至史诗级难度：过滤

...入设置）更严格地评估模型的多模态理解能力；模型在新基准上的性能下降明显，表明MMMU-Pro能有效避免模型依赖捷径和猜测策略的情况。多模态大型语言模型（MLLMs）在各个排行榜上展现的性能不断提升，例如GPT-4o在大学水平...……更多

2024-09-18 13:31:00模态,史诗,基准,难度,问答,文本

多模态LLM视觉推理能力堪忧，浙大领衔用GPT-4合成数据构

...理方面同样不足。为此他们提出了一种多模态的视觉推理基准，并设计了一种新颖的数据合成方法。无论是语言模型还是视觉模型，似乎都很难完成更抽象层次上的理解和推理任务。语言模型已经可以写诗写小说了，但是依旧算...……更多

2024-08-08 16:23:00模态,领衔,基准,推理,视觉,能力

清华领衔发布多模态评估MultiTrust：GPT-4可信度

...的研究人员联合撰写百页长文，发布名为MultiTrust的综合基准，首次从多个维度和视角全面评估了主流多模态大模型的可信度，展示了其中多个潜在安全风险，启发多模态大模型的下一步发展。论文标题：Benchmarking Trustworthiness of ...……更多

2024-07-25 09:31:00模态,清华,可信度,领衔,可信,几何

Bengio团队提出多模态新基准，直指Claude 3.5和

AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报...……更多

2024-06-29 09:37:00模态,基准,弱点,团队,模型,任务

大幅减缓幻觉百融云创大模型精度测评结果出炉

...越重要。百融云创参加的这场“考试”名叫检索增强生成基准测评，这是对大模型处理“幻觉问题”的能力测评，也是对大模型生成内容准确性的测评。尽管大模型带来令人兴奋的技术进步，但“幻觉”一直是制约其发展的主要...……更多

2024-03-28 16:16:00精度,幻觉,模型,结果,模型,幻觉

Mamba再次挑战霸主Transformer！首个通用Mam

...型Falcon Mamba 7B，性能与Transformer架构模型相媲美，在多个基准测试上的均分超过了Llama 3.1 8B和Mistral 7B。今天，阿布扎比支持的技术创新研究所(TII) 开源了全球第一个通用的大型Mamba架构模型——Falcon Mamba 7B。虽然之前，但仅……更多

2024-08-14 09:43:00一鸣,霸主,模型,再次,模型,序列

多模态竞技场对标90B Llama 3.2！Pixtral

...要好。最后，与开源模型一起，Mistral还贡献了一个开源基准测试MM-MT-Bench，用于在实际场景中评估视觉语言模型。技术细节当前的多模态大模型基本上都是：模态编码器 + 投影模块 + 大语言模型主干。如果需要多模态输出，后...……更多

2024-11-20 09:43:00模态,竞技场,竞技,报告,技术,模态

文本图格式大一统！首个大规模文本边基准TEG-DB发布 |

...里大学等机构的研究人员首次提出了文本边图的数据集与基准，包括9个覆盖4个领域的大规模文本边图数据集，以及一套标准化的文本边图研究范式。该研究的发表极大促进了文本边图图表示学习的研究，有利于自然语言处理与...……更多

2024-11-09 13:34:00大规,本图,基准,大规模,文本,格式

87.8%准确率赶超GPT-4o登顶！谷歌DeepMind发

...动评分器 ( FLAMe-RM 和 FLAMe-Opt-RM）。在12个自动评分器评估基准中的8个基准上，FLAMe及其变体的自动评分性能优于用专有数据训练的GPT-4o、Gemini-1.5-Pro等模型。- 计算高效的多任务训练：引入了一种计算更为高效的方法，使用创新...……更多

2024-08-05 09:37:00准确率,模型,评估,评估,模型,数据

北大林宙辰团队全新混合序列建模架构MixCon：性能远超Ma

....5 倍（如图 5 所示）。数据集评估本文在一系列标准学术基准测试中评估 Conba 性能，包括常识推理任务（如 HellaSwag、WinoGrande、ARC - E、ARC - Challenge）、阅读理解任务（如 BoolQ、QuAC）、聚合基准测试（如 MMLU、BBH），采用不同……更多

2024-10-16 13:34:00序列,架构,北大,混合,团队,性能

非Transformer架构站起来了!首个纯无注意力大模型,

...理各种文本生成任务。从结果来看，Falcon Mamba 7B 在一些基准上超越同尺寸级别的领先模型，包括 Meta 的 Llama 3 8B、Llama 3.1 8B 和 Mistral 7B。 Falcon Mamba 7B 分为四个变体模型，分别是基础版本、指令微调版本、4bit 版本……更多

2024-08-14 09:39:00力大,架构,模型,模型,架构,训练

首个可保留情感的音频LLM！Meta重磅开源7B-Spiri

...内容，将通过定量评估一系列需要生成文本或语音token的基准测试，特别评估Spirit LM在单模态和跨模态场景中的语义能力。自动语音识别（ASR）和文本转语音（TTS）与文本语言模型类似，SPIRIT语言智能体可以通过少量样本提示来...……更多

2024-11-23 09:43:00音频,模态,重磅,文本,任务,情感

开闭源模型「大乱斗」：看看哪个智能体最能窥见人类真实意图

...该工作首先引入了 Intention-in-Interaction（IN3）这一全新的基准测试，旨在通过与用户明确的交互来理解用户的隐式意图。以 Mistral-7B 为框架，基于 IN3 训练的 Mistral-Interact 能主动评估任务的模糊性，询问用户意图，并在启动下游智...……更多

2024-08-14 09:39:00意图,模型,人类,智能,智能,任务

用过GPT-4 Turbo以后，我们再也回不去了

...了不到十分钟。GPT-4 Turbo 具有创纪录的准确率，在 PyLLM 基准上，GPT-4 Turbo 的准确率是 87%，而 GPT-4 的准确率是 52%，这是在速度几乎快了四倍多的情况下（每秒 48 token）实现的。至此，生成式 AI 的竞争似乎进入了新的阶段。很多...……更多

2023-11-08 18:08:00模型,测试,用户,代码,基准,尝试

史上最严中文真实性评估：OpenAI o1第1豆包第2，其它

新的大语言模型（LLM）评估基准对于跟上大语言模型的快速发展至关重要。近日，淘宝天猫集团的研究者们提出了中文简短问答（Chinese SimpleQA），这是首个全面的中文基准，具有“中文、多样性、高质量、静态、易于评估”五...……更多

2024-11-22 09:51:00豆包,中文,真实性,评估,模型,中文

智慧芽垂直领域大模型通过国家网信办“双备案”

...、C-Eval，以及智慧芽面向业内首次提出的专利大模型测试基准（Patent-bench）的测评结果显示，智慧芽垂直领域大模型在问答、总结、写作、翻译、分类等方面能力整体优于商业通用大模型。图：智慧芽垂直领域大模型专业考试成...……更多

2024-08-15 14:22:00模型,智慧,领域,国家,模型,智慧

LLM数学性能暴涨168%，微软14人团队力作！合成数据2.

...化的合成数据。经过合成数据微调后的模型Orca-3，在多项基准上刷新了SOTA。全世界高质量数据几乎枯竭。AI科学家们为了解决这一难题，可谓是绞尽脑汁。目前来看，合成数据或许就是大模型的未来，也成为业界公认的解决之法...……更多

2024-08-20 13:44:00微软,力作,秘诀,生成,团队,性能

刚刚，Llama 3.2 来了！支持图像推理，还有可在手机上

...与 Gemma 相当。具体来说，Meta 在涉及多种语言的 150 多个基准数据集上对 Llama 3.2 进行了评估。对于视觉 LLM，评估基准涉及图像理解和视觉推理任务。视觉模型Llama 3.2 11B 和 90B 模型是首批支持视觉任务的 Llama 模型，因此 Meta 为...……更多

2024-09-27 13:42:00推理,可在,图像,运行,版本,支持

2023 AI现状报告：GPT-4仍最强，监管方向缺乏全球共

...变得更加强大和灵活，比较它们的能力越来越困难。由于基准变得不那么明确，用于评估大语言模型的“基于氛围”的方法在业界越来越普遍。·人工智能安全在2023年首次占据舞台中心。但人工智能界内部存在深刻分歧，世界各...……更多

2023-10-12 15:21:00共识,监管,现状,方向,报告,全球

CVPR最佳论文被生成式AI占领，清华武大华南农大上科校友获

...性两方面评估生成视频的质量，结果显示该方法明显优于基准：最佳学生论文 BioCLIP: A Vision Foundation Model for the Tree of Life论文作者来自俄亥俄州立大学、微软研究院、加利福尼亚大学欧文分校、伦斯勒理工学院。他们构建了一个...……更多

2024-06-21 09:21:00华南,清华,农大,获奖,校友,生成

北大、快手开源视频生成模型Pyramid Flow，1分钟生

智东西10月11日消息，据VentureBeat报道，北京大学、北京邮电大学和快手科技在本周联合开源了一款名为Pyramid Flow的高清视频生成模型。Pyramid Flow能根据文本描述制作长达10秒、分辨率为1280×768、每秒24帧的视频。Pyramid Flow采用了...……更多

2024-10-12 09:49:00生成,快手,视频,北大,模型,视频

仅用4块GPU、不到3天训练出开源版GPT-4o，这是国内团

...TS) 、 Qwen2-Audio (+TTS) 。主要结果表 1 给出了 InstructS2S-Eval 基准测试主要结果。首先，在 S2TIF 任务中，从内容（content）角度来看，LLaMA-Omni 相比之前的模型有了显著提升，这主要是因为 LLaMA-Omni 是基于最新的 L……更多

2024-09-24 13:42:00团队,训练,这是,研究,语音,文本

$什么影响大模型安全？NeurIPS\'24新研究提出大模型越狱攻击新基准$