• 我的订阅
  • 头条热搜
87.8%准确率赶超GPT-4o登顶!谷歌DeepMind发布自动评估模型FLAMe
...型FLAMe系列,FLAMe-RM-24B模型在RewardBench上表现卓越,以87.8%准确率领先GPT-4o。大语言模型都卷起来了,模型越做越大,token越来越多,输出越来越长。那么问题来了,如何有效地评估大语言模型的长篇大论呢?要是输出长度长了但...……更多
策略产品经理必读系列第七讲:机器学习分类任务基础评估指标AUC、召回率、准确率
...你有帮助。前言:网上已经有很多文章介绍AUC、召回率和准确率等指标了,但更多只是从计算公式来讲解,并没有结合工作中实际的业务场景。一上来就介绍指标计算,并没有给到读者一个对于机器学习任务离线效果评估指标体...……更多
微软华人团队发布全新基准AGIEval,专为人类考试而生
...和数学竞赛中的成绩超过了人类平均水平,SAT数学考试的准确率达到了95%,中国高考英语考试的准确率达到了92.5%,表明了目前基础模型的非凡表现。但GPT-4在需要复杂推理或特定领域知识的任务中不太熟练,文中对模型能力(理...……更多
空间智能版ImageNet来了!李飞飞吴佳俊团队出品
...验评估方面,HourVideo采用五选多任务问答(MCQ)任务,以准确率作为评估指标,分别报告每个任务以及整个数据集的准确率。由于防止信息泄露是评估长视频中的MCQ时的一个重要挑战——理想情况下,每个MCQ应独立评估,但这种...……更多
迈向多语言医疗大模型:大规模预训练语料,开源模型与全面基准测试
...学场景。 所有数据和代码、模型均已开源。MMedBench 上的准确率,图 d 展⽰了在 MMedC 上进⼀步预训练使模型性能相⽐于基线显著提升。大规模多语医疗语料(MMedC)构建在构建数据集方面,研究团队收集了一份多语言医疗语料库...……更多
无一大模型及格! 北大/通研院提出超难基准,评估长文本理解生成
...T4-8k、GPT3.5-turbo-6k、LlamaIndex这种商业模型,平均只有40%的准确率。而像开源模型表现就更不理想了…ChatGLM2-6B、LongLLaMa-3B、RWKV-4-14B-pile、LLaMA-7B-32K平均只有10%的准确率。目前该论文已被ACL 2024接……更多
清华UCSD提出全新微调方法,8B小模型媲美GPT-4o!科学问题正确率提高28%
...行业巨头如GPT-4——便在测试数据集上实现了28.18%的答案准确率提升和13.89%的工具使用精度提高。这挑战了AI开发中的一个惯有想法:更大的模型必然能带来更好的结果。教会AI在使用外部工具和依赖内部知识之间进行判断——就...……更多
游戏bug帮大模型学物理!准确率超GPT4o近4个百分点
...GPT-4o和Gemini-1.5-pro表现最佳,分别达到了56.1%和55.2%的平均准确率。在所有细分领域中,GPT-4o在摩擦和加速度方面表现优越。相比之下,Gemini-1.5-pro在理解与重力、弹性、反射、吸收与透射、颜色和刚性相关的物理常识方面表现更...……更多
媲美OpenAI事实性基准,这个中文评测集让o1-preview刚刚及格
...T-4o mini 仅 37.6 分,ChatGLM3-6B 和 Qwen2.5-1.5B 仅 11.2 和 11.1 的准确率。基于中文 SimpleQA,我们对现有 LLM 的事实性能力进行了全面的评估。并维护一个全面的 leaderboard 榜单。同时我们也在评测集上实验分析了推理 s……更多
...其负责的某金融公司相关同业借贷项目在首月实现了筛选准确率提升至85%。通过她在项目前期的全面分析,为公司在风险决策方面提供了全量的数据依据。 动态风险量化评估与应急处理模型则直击传统风控模型静态评估的局限...……更多
指令跟随大比拼!Meta发布多轮多语言基准Multi-IF:覆盖8种语言,超4500种任务
...中表现显著衰减,表现最佳的o1-preview模型在三轮对话的准确率从87.7%下降到70.7%;在非拉丁文字语言上,所有模型的表现显著弱于英语。在大语言模型(LLMs)不断发展的背景下,如何评估这些模型在多轮对话和多语言环境下的指...……更多
科研也完了,AI暴虐170位人类专家!Nature子刊:大模型精准预测研究结果,准确率高达81%
...语言模型在预测神经科学结果方面超越了人类专家,平均准确率达到81%,而人类专家仅为63%;模型通过整合大量文献数据,展现出了惊人的前瞻性预测能力,预示着未来科研工作中人机协作的巨大潜力。在现代化工具的帮助下,...……更多
奥林匹克竞赛里选最聪明的AI:Claude-3.5-Sonnet vs. GPT-4o?
...过基于规则的匹配进行评估,研究团队对非编程任务使用准确率,并对编程任务使用公正的pass@k指标,定义如下: 本次评估中设定k = 1且n = 5,c表示通过所有测试用例的正确样本数量。奥林匹克竞技场奖牌榜:与奥运会使用的...……更多
超级推理模型正面对垒:谷歌版o1发布次日,OpenAI o1下一代o3登场
...突破,最高的测试成绩达到了类人水平。o3软件工程测试准确率比o1高近47% 竞赛数学高15% 人类博士专家级生化物高近13%今年9月,OpenAI 发布o1的预览版o1 preview时称,o1是第一个具备真正通用推理能力的大模型,它的核心能力推理...……更多
深度学习在AI教育中的应用及其关键技术探究
...法来评估模型的泛化能力。同时,还可以使用各种指标如准确率、召回率、F1值等来评估模型的性能。通过调整学习率和模型参数,不断进行模型评估和调优,可以提高模型的性能和泛化能力。为了更好地说明模型构建和训练在A...……更多
多模态模型评测框架lmms-eval发布!全面覆盖,低成本,零污染
... 作为备选。最终的报告结果将基于得分转换为 0 到 100 的准确率指标。未来也可以在我们动态更新的榜单里查看多模态模型在每个月动态更新的最新评测数据,以及在榜单上的最新评测的结果。 ……更多
将偏好学习引入模型训练,北大李戈团队提出代码生成优化新框架
...提升测试结果显示,经过CodeDPO优化后,代码模型的生成准确率和效率,都获得了一定提升。★代码准确性实验研究团队在HumanEval(+),MBPP(+)和DS-1000三个数据集上进行了广泛实验,涵盖8种主流代码生成模型,包含Base模型和SF...……更多
平安保险核保依托AI自主学习,扩展多维立体评估
...数据融合进核保预测模型中,不断修正核保结论,训练核保准确率。这种基于数据的分析和修正过程,使得平安保险核保系统能够准确地评估风险,提高核保的效率和准确性。面对保险行业核保场景新一轮的挑战,平安保险始终与时俱...……更多
常见电子邮件分类算法的性能分析
...贝叶斯算法学习曲线,红色线代表测试集(学习过程中)的准确率(Score),绿色线代表该模型在测试集上的准确率,线两侧的半透明带的宽度代表方差(方差越小,模型稳定性越好,泛化性能越好)。从图1可看出,随着训练量(Train examp...……更多
支持1024帧、准确率近100%,英伟达「LongVILA」开始发力长视频
...的 LongVILA 模型在 1400 帧的大海捞针实验中实现了 99.5% 的准确率,相当于 274k 个 token 的上下文长度。此外, MM-SP 系统可以有效地将上下文长度扩展到 200 万个 token 而无需梯度检查点,与环形序列并行(ring sequence parallel……更多
扩散模型也能搞定社交信息推荐,港大数据智能实验室提出RecDiff
...估了模型的性能,结果显示相比现有方法,RecDiff在推荐准确率方面取得了显著提升。未来,RecDiff团队计划将RecDiff拓展到更多推荐场景中,并结合多模态信息,进一步探索该模型的潜力和应用价值。论文:http://github.com/HKUDS/RecDif...……更多
AI科学家太多,谁靠谱一试便知!普林斯顿新基准CORE-Bench:最强模型仅有21%准确率
...评估AI智能体在计算可重复性方面的表现,最简单任务的准确率可以达到60%,最难任务准确率仅有21%大模型的能力越来越强,用户在一些重要的任务中也可以依赖大模型,比如说辅助做科研。不过现有科研辅助相关的基准测试都...……更多
治涝减灾|辰安科技化解“排”忧,消除城市安全隐患
...率定和专业研发团队的不断迭代,模型分析实现了很高的准确率。 第四,实战性强、落地广,积淀丰富排水安全监测项目实践经验自相关产品投入应用以来,已经陆续服务了全国数十个城市,在安徽实现全省16市全面覆盖,全...……更多
还在人工炼丹?自动提示工程指南来了,还带从头实现
...e given problem about geometric shapes.」可以看到,性能并不好,准确率只有 36%,应该有很大的改进空间。不过,在使用 APE 之前,让我们先尝试下一种提示技术:思路链(CoT)推理;这种技术虽然对原始提示词修改不多,但事实证明却...……更多
...模型预测的有效性,确保模型能准确反映市场动态。采用准确率、召回率等评估指标,对模型性能进行量化衡量,是这个阶段的关键操作。金融领域对预测准确性的要求极高,因此,模型要持续优化和更新以适应市场变化。(二)...……更多
...反馈,不断优化数据模型和算法,提高风险识别和预警的准确率。同时,根据实际业务需求和市场变化,持续改进数据管理流程和方法,提升金融风险数据资产的管理水平。信息化在金融风险数据资产建设方面发挥着重要作用。...……更多
MMMU华人团队更新Pro版!多模态基准升至史诗级难度:过滤纯文本问题、引入纯视觉问答
...多学科多模态理解和推理(MMMU)基准测试中取得了69.1%的准确率。不过,基准测试结果是否真的能反映模型对多样化主题的深入理解,仍然有争议,或者说模型是否只是利用了统计模式,而非依靠理解和推理的情况下就能得出正...……更多
科研党狂喜!AI预测神经学研究结论超人类专家水平 | Nature子刊
...论文的几个重要结论:总体结果:LLMs在BrainBench上的平均准确率为81.4%,而人类专家的平均准确率63.4%。LLMs的表现显著优于人类专家子领域表现:在神经科学的几个重要的子领域:行为/认知、细胞/分子、系统/回路、神经疾病的...……更多
字节跳动向大模型大乱斗扔出一个豆包
...量评估使用 BLEU 分数、困惑度等指标,语言理解评估使用准确率、召回率等指标。通过以上技术背景,我可以对输入的文本进行预测和生成,并回答各种问题,以帮助用户获取信息和知识。来源:品玩返回搜狐,查看更多责任编...……更多
小米大模型交成绩单
...在计量师、物理、化学、生物等多个项目中获得了较高的准确率;在10个社会科学科目中,小米大模型得分71.7,在教育学和地理外的所有科目中,获得了较为理想的准确率;在11个人文科学科目中,小米大模型得分62.7,在历史与...……更多
更多关于科技的资讯:
剪映专业版助力创作提效,90后四川小伙靠剪辑月入10万
过去几年,四川小伙王星程每天坚持分享自己的剪辑日常。得益于剪映专业版的方便易上手,“半路出家”的他很快就摸索出一套剪辑窍门
2025-08-08 15:27:00
天津,这座古老而又现代的城市,多元文化在建筑中显现、沉淀、交融。近年来,天津着力讲好建筑承载的故事,不仅使老建筑“重获新生”,更展现了天津厚重的人文底蕴与独特的城市魅力。
2025-08-09 07:44:00
温特纳科技:为压力扫描阀和气动探针提供一站式校准服务
从航空航天到汽车动力,从风洞实验到无人机飞行测试,精确的流场测量和压力数据采集是确保产品设计和研发进度的重要保障。很多科研工作者在采购压力扫描阀和气动探针后
2025-08-08 15:27:00
智能饮品革命:东方慧影如何用“零成本”方案破解餐饮行业人工困局
一、餐饮行业的成本之痛,政策改变迫使餐饮商家做出调整截至2025年,餐饮行业人工成本高达32.7%,较疫情前上升了8%
2025-08-08 15:27:00
官方数据首度公开!TikTok Shop跨境日本、欧洲五国新市场大促双爆发
近日,TikTok Shop新市场捷报频传!日本站点开放仅一个月,首场大促便斩获“开门红”;与此同时,欧洲五国德法意西
2025-08-08 15:27:00
当连锁药房遇上“好老板”,通联支付助力“为了你”健康药房升级收银服务
药店买药免排队、秒支付!近日,通联支付与当地邮政联合,为云南“为了你健康药房”上线“好老板”轻应用,助力连锁药店升级一站式智慧收银平台
2025-08-08 15:27:00
追求健康美食的你,是否渴望一种便捷烹饪方式?空气炸锅正是你的理想选择!它利用高速循环热风,无需大量油脂就能烹饪出酥脆可口的食物
2025-08-08 15:27:00
格力高上海工厂探访:本土化研发与智能智造驱动市场领跑
近日,格力高首次向媒体开放其位于上海的智能化生产基地,揭秘这家百年食品企业如何通过“本土化研发+智能智造”双轮驱动,实现从消费者需求洞察到产品快速落地的高效转化
2025-08-08 15:27:00
效率跃升18倍!曙光超智融合引领生命科学新范式
当前,海量生物数据的处理与分析能力已成为制约行业发展的关键瓶颈。近日,依托曙光超智融合技术建设的华东某全国产计算中心,与单细胞测序领域代表性企业墨卓生物达成战略合作
2025-08-08 15:27:00
传奇再启:赛德斯签约品牌强国新品即将来袭
2025年8月5日,中国知名电竞音频品牌赛德斯(SADES)在广东深圳正式签约“品牌强国·自主品牌优选工程”,成功入选该国家级项目成员单位
2025-08-08 15:27:00
餐饮行业在服务消费中地位举足轻重。当下的中国餐饮行业正在经历从“速度增长”到“效率竞争”的结构性转变。根据中国烹饪协会发布的《2024年全国餐饮业发展回顾与2025年展望》(以下简称“报告”)数据显示
2025-08-08 15:27:00
名众集团首创的基因枪无创草本抗衰技术,历经7年研发60万例临床,再次突破
名众集团自2018年自主研发首创了“四维形气美学”“草本0创还原术”后,历经7年研发60万例临床,再次实现重大技术突破
2025-08-08 15:27:00
视源股份投屏黑科技:3秒丝滑连接,比掏手机还快!
会议室的桌面上总缠着一堆线缆 ——VGA 线、DP 线、HDMI 线像乱麻一样,某企业高管曾因笔记本找不到匹配接口,让二十多位参会者等了十来分钟
2025-08-08 15:32:00
G视觉|全球首创!贵州嘉尚百米智能隧道窑日产40吨正极材料
走进贵州嘉尚新能源材料有限公司全球首创的100米全自动化隧道窑生产车间,自动化设备高效运转,机械臂精准作业,智能系统实时监控着从投料到产出的全过程
2025-08-08 15:42:00
千万粉丝主播“秀才”复活?抖音:仍在封禁状态,不存在“借壳复活”
8月7日上午,“网红秀才疑似借壳复出”的词条,冲上微博热搜榜单。据媒体8月6日报道,2023年被封禁的千万粉丝网红秀才疑似“借壳复出”
2025-08-08 15:46:00