• 我的订阅
  • 头条热搜
无一大模型及格! 北大/通研院提出超难基准,评估长文本理解生成
...型及格!北大联合北京通用人工智能研究院提出了一个新基准数据集:LooGLE,专门用于测试和评估大语言模型(LLMs)长上下文理解能力。该数据集既能够评估LLMs对长文本的处理和检索能力,又可以评估其对文本长程依赖的建模...……更多
北大推出全新机器人多模态大模型!面向通用和机器人场景的高效推理和操作
...多种操作技能。在实验中,RoboMamba 在通用和机器人评估基准上展示了出色的推理能力,如图 2 所示。同时,我们的模型在模拟和现实世界实验中展示了令人印象深刻的操纵位姿预测能力,其推理速度比现有的机器人 MLLMs 快 7 倍...……更多
多模态LLM视觉推理能力堪忧,浙大领衔用GPT-4合成数据构建多模态基准
...理方面同样不足。为此他们提出了一种多模态的视觉推理基准,并设计了一种新颖的数据合成方法。无论是语言模型还是视觉模型,似乎都很难完成更抽象层次上的理解和推理任务。语言模型已经可以写诗写小说了,但是依旧算...……更多
清华领衔发布多模态评估MultiTrust:GPT-4可信度有几何?
...的研究人员联合撰写百页长文,发布名为MultiTrust的综合基准,首次从多个维度和视角全面评估了主流多模态大模型的可信度,展示了其中多个潜在安全风险,启发多模态大模型的下一步发展。论文标题:Benchmarking Trustworthiness of ...……更多
Bengio团队提出多模态新基准,直指Claude 3.5和GPT-4o弱点
AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年,机器之心AIxiv专栏接收报道了2000多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术交流与传播。如果您有优秀的工作想要分享,欢迎投稿或者联系报...……更多
大幅减缓幻觉 百融云创大模型精度测评结果出炉
...越重要。百融云创参加的这场“考试”名叫检索增强生成基准测评,这是对大模型处理“幻觉问题”的能力测评,也是对大模型生成内容准确性的测评。尽管大模型带来令人兴奋的技术进步,但“幻觉”一直是制约其发展的主要...……更多
Mamba再次挑战霸主Transformer!首个通用Mamba开源大模型一鸣惊人
...型Falcon Mamba 7B,性能与Transformer架构模型相媲美,在多个基准测试上的均分超过了Llama 3.1 8B和Mistral 7B。今天,阿布扎比支持的技术创新研究所(TII) 开源了全球第一个通用的大型Mamba架构模型——Falcon Mamba 7B。虽然之前,但仅……更多
87.8%准确率赶超GPT-4o登顶!谷歌DeepMind发布自动评估模型FLAMe
...动评分器 ( FLAMe-RM 和 FLAMe-Opt-RM)。在12个自动评分器评估基准中的8个基准上,FLAMe及其变体的自动评分性能优于用专有数据训练的GPT-4o、Gemini-1.5-Pro等模型。- 计算高效的多任务训练:引入了一种计算更为高效的方法,使用创新...……更多
非Transformer架构站起来了!首个纯无注意力大模型,超越Llama 3.1
...理各种文本生成任务。从结果来看,Falcon Mamba 7B 在一些基准上超越同尺寸级别的领先模型,包括 Meta 的 Llama 3 8B、Llama 3.1 8B 和 Mistral 7B。 Falcon Mamba 7B 分为四个变体模型,分别是基础版本、指令微调版本、4bit 版本……更多
开闭源模型「大乱斗」:看看哪个智能体最能窥见人类真实意图
...该工作首先引入了 Intention-in-Interaction(IN3)这一全新的基准测试,旨在通过与用户明确的交互来理解用户的隐式意图。以 Mistral-7B 为框架,基于 IN3 训练的 Mistral-Interact 能主动评估任务的模糊性,询问用户意图,并在启动下游智...……更多
用过GPT-4 Turbo以后,我们再也回不去了
...了不到十分钟。GPT-4 Turbo 具有创纪录的准确率,在 PyLLM 基准上,GPT-4 Turbo 的准确率是 87%,而 GPT-4 的准确率是 52%,这是在速度几乎快了四倍多的情况下(每秒 48 token)实现的。至此,生成式 AI 的竞争似乎进入了新的阶段。很多...……更多
智慧芽垂直领域大模型通过国家网信办“双备案”
...、C-Eval,以及智慧芽面向业内首次提出的专利大模型测试基准(Patent-bench)的测评结果显示,智慧芽垂直领域大模型在问答、总结、写作、翻译、分类等方面能力整体优于商业通用大模型。图:智慧芽垂直领域大模型专业考试成...……更多
LLM数学性能暴涨168%,微软14人团队力作!合成数据2.0秘诀曝光,智能体生成教学
...化的合成数据。经过合成数据微调后的模型Orca-3,在多项基准上刷新了SOTA。全世界高质量数据几乎枯竭。AI科学家们为了解决这一难题,可谓是绞尽脑汁。目前来看,合成数据或许就是大模型的未来,也成为业界公认的解决之法...……更多
2023 AI现状报告:GPT-4仍最强,监管方向缺乏全球共识
...变得更加强大和灵活,比较它们的能力越来越困难。由于基准变得不那么明确,用于评估大语言模型的“基于氛围”的方法在业界越来越普遍。·人工智能安全在2023年首次占据舞台中心。但人工智能界内部存在深刻分歧,世界各...……更多
CVPR最佳论文被生成式AI占领,清华武大华南农大上科校友获奖
...性两方面评估生成视频的质量,结果显示该方法明显优于基准:最佳学生论文 BioCLIP: A Vision Foundation Model for the Tree of Life论文作者来自俄亥俄州立大学、微软研究院、加利福尼亚大学欧文分校、伦斯勒理工学院。他们构建了一个...……更多
迎战GPT-4V!谷歌PaLI-3视觉语言模型问世,更小、更快、更强
...igLIP)进行了比较,结果发现,PaLI-3 虽然在标准图像分类基准上略微表现不佳,但基于 SigLIP 的 PaLI 在各种多模态基准测试中表现出卓越的性能,特别是在定位和文本理解方面。相关研究论文以“PaLI-3 Vision Language Models: Smaller, Fas.……更多
还在人工炼丹?自动提示工程指南来了,还带从头实现
...程对于 LLM 的输出结果,现在已经有了很多标准化的评估基准和机制。以代码生成为例:可以通过在编译器或解释器中运行代码来检查语法错误和功能,从而即时评估生成的代码的准确性。通过测量成功编译的代码所占的百分比...……更多
本周硅谷发生了什么?|OpenAI推出5项更新;微软组建新的AI团队;Googe发布文生视频模型Lumiere
...PT4-V和Gemini Ultra,但其规模仅为它们的1/10-1/20。Fuyu-Heavy在基准测试跑分中表现突出,部分得分超过Gemini Pro。Adept成立于2022年,创始人包括Google Transformer架构的提出者Ashish Vaswani和Niki Parmar……更多
全球AI安全评估测试有了新基准
...型安全领域两项国际标准发布全球AI安全评估测试有了新基准随着人工智能系统,特别是大语言模型成为社会各方面不可或缺的一部分,以一个全面的标准来解决它们的安全挑战变得至关重要。◎本报记者 崔 爽第27届联合国科技...……更多
奥林匹克竞赛里选最聪明的AI:Claude-3.5-Sonnet vs. GPT-4o?
...理、数学推理、编程任务及视觉推理等任务上设立新行业基准而引发广泛讨论:Claude-3.5-Sonnet 已经取代OpenAI的GPT4o成为世界上”最聪明的AI“(Most Intelligent AI)了吗?回答这个问题的挑战在于我们首先需要一个足够挑战的智力测...……更多
全球最强开源大模型Llama 3发布:使用15T数据预训练,最大模型参数将超4000亿
...版本,可以支持广泛的应用。同时,Llama 3 在广泛的行业基准测试中达到了 SOTA,并提供了新的功能,如改进的推理能力。最强开源 LLM 来了Meta 官方博客写道,“得益于预训练和后训练的改进,我们的预训练和指令微调模型是目...……更多
长上下文能力只是吹牛?最强GPT-4o正确率仅55.8%,开源模型不如瞎蒙
...过不断增加上下文长度(干扰图片的数量),将现有的VQA基准和简单图像识别集 (MNIST) 扩展为测试长上下文「提取推理」的示例。结果在简单VQA任务上,VLM的性能呈现出惊人的指数衰减。——LLM:原形毕露了家人们。而与实际研...……更多
3秒让AI生成风险减少30%!复旦新研究拿下扩散模型概念移除新SOTA
...?不安全概念移除首先来看最敏感的内容——色情。在I2P基准数据集上,RECE的裸露移除效果超过了全部已有方法。团队还评估了概念移除后模型的正常内容生成能力,即无关概念集COCO-30k上的FID指标,也远超CA等方法。 艺术风...……更多
Mamba作者新作:将Llama3蒸馏成混合线性 RNN
...。由此产生的混合模型包含四分之一的注意力层,在聊天基准测试中实现了与原始 Transformer 相当的性能,并且在聊天基准测试和一般基准测试中优于使用数万亿 token 从头开始训练的开源混合 Mamba 模型。此外,该研究还提出了一...……更多
2023 的人工智能之年
...面的提升。Meta 的精调 LLM 在对话用例中经过优化,多数基准测试中超过其他开源模型。GPT-4:OpenAI 的 GPT-4 现在可以处理图像输入,生成标题、分类,进行听说交流,并支持 实时网页浏览。OpenAI 扩展了插件支持,推动了开源生...……更多
科学家建立新评价基准,助力评估大模型数据分析能力
...更加符合预期的结果。整体来看,缺乏交互式数据分析的基准——是本次研究面临的最大问题之一。为了解决这一问题,他们以“斯坦福小镇”项目为启发,创建了“DECISION COMPANY”。“DECISION COMPANY”是数据分析领域的首个多代...……更多
微软论文一张截图,曝出GPT-3.5仅有200亿参数?AI圈巨震,网友大呼太离谱!
...回归模型(包括T5、CodeT5、StarCoder、CodeGen、GPT-3)在各项基准任务上的平均多样性结果,考察了每个模型的前5代生成结果。相对于自回归模型,CODEFUSION生成更加多样化的结果,表现更出色。在消融实验中,作者停止了去噪过程...……更多
引领消费金融数智化时代 招联发布行业首个开源金融大模型“招联智鹿”
...大学等企业和高校自研的大模型。作为中文大模型的权威基准,C-Eval榜单由清华大学、上海交通大学和爱丁堡大学合作研发,CMMLU榜单由MBZUAI(全球首所人工智能大学)、 上海交通大学、微软亚洲研究院共同推出。这两个平台,...……更多
苹果AI震撼上线iPhone,进化版Siri却没有ChatGPT!47页技术报告揭秘自研模型
...示了AFM-server在HuggingFace OpenLLM排行榜V1,以及HELM-Lite v1.5.0基准上的结果。可以看到,AFM预训练模型有着强大的语言和推理能力,从而为后训练和特征微调提供了坚实的基础。后训练 人类评估对于苹果AI的应用场景来说,人类评估...……更多
精准狙击Llama 3.1?Mistral AI开源Large 2,123B媲美Llama 405B
...量低于 Llama 3.1 的 4050 亿,但两者性能接近。并且在多个基准测试中与 GPT-4o、Anthropic 的 Claude 3.5 Sonnet 媲美。今年 2 月,Mistral AI 推出了最初的 Large 模型,其上下文窗口包含 32,000 个 token,新版模型在此……更多
更多关于科技的资讯:
AMD官宣RX 9060系列显卡:二季度大战RTX 5060系列
快科技2月28日消息,AMD终于正式发布了新一代RDNA 4 RX 9070系列高端显卡,RX 9070 4499元起
2025-02-28 22:07:00
RTX 5090D挑战3A游戏多开:实测结果出乎意料
今年硬件的最大亮点无疑是RTX 5090 D,这款显卡不仅凭借Blackwell架构和GDDR7显存实现了性能的飞跃,更通过DLSS 4技术彻底改变了游戏体验的极限
2025-02-28 22:07:00
定位中大型六座SUV!昊铂HL将于3月18日预售:预计售价35万元
快科技2月28日消息,近日,广汽昊铂官方宣布,昊铂HL将于3月18日正式开启预售。新车定位为六座中大型SUV,提供纯电和增程两种动力版本
2025-02-28 22:37:00
大量账号恶意造谣!尊界法务:涉案谭某某等被依法处置
快科技2月28日消息,今晚,尊界汽车法务官微发文,称近期发现网络上大量账号恶意造谣、恶意诋毁尊界,严重歪曲事实、误导公众
2025-02-28 23:07:00
芯片之母!国产EDA大厂芯华章大地震:CEO、CTO、COO全部换人 官方回应
快科技3月1日消息,EDA被视为“芯片之母”,是设计芯片不可或缺的重要环节,一直被国际企业所垄断,但国产势力也正在迅速崛起
2025-02-28 23:07:00
华为设计师激进!鸿蒙全新形态手机来袭:一款友商想不到的产品
华为常务董事、终端BG董事长、智能汽车解决方案BU董事长余承东在微博发布了一段视频,公布了华为接下来将在手机领域的新动作——华为三月将发布一款“别人想不到的”产品
2025-02-28 23:07:00
理想5月推出L系智驾焕新版:升级单Thor-U芯片
与往年一样,理想汽车提前对外公布了今年新款车型升级改动,为广大消费者们提供更透明主动地购车决策。理想汽车副总裁刘杰在微博表示
2025-02-28 23:07:00
Lightning退出舞台!充电口迎来大一统时代
近日,苹果“重磅推出”新机iPhone 16e,看完配置,对数码熟悉大部分网友都是摇头走开。这么说吧,这个价位段放这种配置
2025-02-28 23:07:00
极越汽车:第二批退定退款流程正持续推进中
快科技2月28日消息,极越发布了关于用户关心问题的说明(第十一次),针对近期用户高度关注的退定、充电桩安装、积分充电及系统问题进行了详细回应
2025-02-28 23:07:00
乐信分期乐如何用科技赋能普惠金融?揭秘其智能风控体系
作为金融科技领域的创新标杆,乐信分期乐通过技术革新与场景融合,构建了兼顾效率与安全的普惠金融服务体系。以下从三大维度解析其核心优势
2025-02-28 23:13:00
乐道电池灵活升级服务正式上线:3月购车首付30%起 享5年0息优惠
快科技2月28日消息,乐道汽车正式上线长续航(85kWh)电池灵活升级服务。用户可通过该服务将60kWh电池升级为85kWh
2025-02-28 23:37:00
苹果闪存堪比黄金!博主给iPhone 16e扩容:立省2000多元
快科技2月28日消息,今天,iPhone 16e正式发售,128GB版售价是4499元,512GB顶配版售价是7499元
2025-02-28 23:37:00
雷军超额完成年度目标!小米SU7 Ultra大定突破15000台
快科技2月28日消息,今晚,小米创办人雷军发布小米SU7 Ultra战报,目前小米SU7 Ultra大定突破15000台
2025-02-28 23:37:00
极星汽车回应裁员:公司组织架构进行调整 目前正常运营
快科技2月28日消息,据媒体报道,极星科技(由极星汽车与星纪魅族成立的合资公司)表示,公司目前运营正常。当前正在进行组织架构调整
2025-02-28 23:37:00
自媒体博主就散布蔚来谣言公开道歉:不要为了流量去做错误甚至违法的事
大皖新闻讯 2月28日傍晚,自媒体“尹哥普及新能源”持有人尹某通过其抖音账号发布视频,就其此前关于蔚来公司及乐道品牌的不实言论公开道歉
2025-02-28 23:49:00