• 我的订阅
  • 头条热搜
87.8%准确率赶超GPT-4o登顶!谷歌DeepMind发布自动评估模型FLAMe
...型FLAMe系列,FLAMe-RM-24B模型在RewardBench上表现卓越,以87.8%准确率领先GPT-4o。大语言模型都卷起来了,模型越做越大,token越来越多,输出越来越长。那么问题来了,如何有效地评估大语言模型的长篇大论呢?要是输出长度长了但...……更多
策略产品经理必读系列第七讲:机器学习分类任务基础评估指标AUC、召回率、准确率
...你有帮助。前言:网上已经有很多文章介绍AUC、召回率和准确率等指标了,但更多只是从计算公式来讲解,并没有结合工作中实际的业务场景。一上来就介绍指标计算,并没有给到读者一个对于机器学习任务离线效果评估指标体...……更多
微软华人团队发布全新基准AGIEval,专为人类考试而生
...和数学竞赛中的成绩超过了人类平均水平,SAT数学考试的准确率达到了95%,中国高考英语考试的准确率达到了92.5%,表明了目前基础模型的非凡表现。但GPT-4在需要复杂推理或特定领域知识的任务中不太熟练,文中对模型能力(理...……更多
空间智能版ImageNet来了!李飞飞吴佳俊团队出品
...验评估方面,HourVideo采用五选多任务问答(MCQ)任务,以准确率作为评估指标,分别报告每个任务以及整个数据集的准确率。由于防止信息泄露是评估长视频中的MCQ时的一个重要挑战——理想情况下,每个MCQ应独立评估,但这种...……更多
迈向多语言医疗大模型:大规模预训练语料,开源模型与全面基准测试
...学场景。 所有数据和代码、模型均已开源。MMedBench 上的准确率,图 d 展⽰了在 MMedC 上进⼀步预训练使模型性能相⽐于基线显著提升。大规模多语医疗语料(MMedC)构建在构建数据集方面,研究团队收集了一份多语言医疗语料库...……更多
无一大模型及格! 北大/通研院提出超难基准,评估长文本理解生成
...T4-8k、GPT3.5-turbo-6k、LlamaIndex这种商业模型,平均只有40%的准确率。而像开源模型表现就更不理想了…ChatGLM2-6B、LongLLaMa-3B、RWKV-4-14B-pile、LLaMA-7B-32K平均只有10%的准确率。目前该论文已被ACL 2024接……更多
媲美OpenAI事实性基准,这个中文评测集让o1-preview刚刚及格
...T-4o mini 仅 37.6 分,ChatGLM3-6B 和 Qwen2.5-1.5B 仅 11.2 和 11.1 的准确率。基于中文 SimpleQA,我们对现有 LLM 的事实性能力进行了全面的评估。并维护一个全面的 leaderboard 榜单。同时我们也在评测集上实验分析了推理 s……更多
指令跟随大比拼!Meta发布多轮多语言基准Multi-IF:覆盖8种语言,超4500种任务
...中表现显著衰减,表现最佳的o1-preview模型在三轮对话的准确率从87.7%下降到70.7%;在非拉丁文字语言上,所有模型的表现显著弱于英语。在大语言模型(LLMs)不断发展的背景下,如何评估这些模型在多轮对话和多语言环境下的指...……更多
奥林匹克竞赛里选最聪明的AI:Claude-3.5-Sonnet vs. GPT-4o?
...过基于规则的匹配进行评估,研究团队对非编程任务使用准确率,并对编程任务使用公正的pass@k指标,定义如下: 本次评估中设定k = 1且n = 5,c表示通过所有测试用例的正确样本数量。奥林匹克竞技场奖牌榜:与奥运会使用的...……更多
多模态模型评测框架lmms-eval发布!全面覆盖,低成本,零污染
... 作为备选。最终的报告结果将基于得分转换为 0 到 100 的准确率指标。未来也可以在我们动态更新的榜单里查看多模态模型在每个月动态更新的最新评测数据,以及在榜单上的最新评测的结果。 ……更多
将偏好学习引入模型训练,北大李戈团队提出代码生成优化新框架
...提升测试结果显示,经过CodeDPO优化后,代码模型的生成准确率和效率,都获得了一定提升。★代码准确性实验研究团队在HumanEval(+),MBPP(+)和DS-1000三个数据集上进行了广泛实验,涵盖8种主流代码生成模型,包含Base模型和SF...……更多
平安保险核保依托AI自主学习,扩展多维立体评估
...数据融合进核保预测模型中,不断修正核保结论,训练核保准确率。这种基于数据的分析和修正过程,使得平安保险核保系统能够准确地评估风险,提高核保的效率和准确性。面对保险行业核保场景新一轮的挑战,平安保险始终与时俱...……更多
常见电子邮件分类算法的性能分析
...贝叶斯算法学习曲线,红色线代表测试集(学习过程中)的准确率(Score),绿色线代表该模型在测试集上的准确率,线两侧的半透明带的宽度代表方差(方差越小,模型稳定性越好,泛化性能越好)。从图1可看出,随着训练量(Train examp...……更多
扩散模型也能搞定社交信息推荐,港大数据智能实验室提出RecDiff
...估了模型的性能,结果显示相比现有方法,RecDiff在推荐准确率方面取得了显著提升。未来,RecDiff团队计划将RecDiff拓展到更多推荐场景中,并结合多模态信息,进一步探索该模型的潜力和应用价值。论文:http://github.com/HKUDS/RecDif...……更多
支持1024帧、准确率近100%,英伟达「LongVILA」开始发力长视频
...的 LongVILA 模型在 1400 帧的大海捞针实验中实现了 99.5% 的准确率,相当于 274k 个 token 的上下文长度。此外, MM-SP 系统可以有效地将上下文长度扩展到 200 万个 token 而无需梯度检查点,与环形序列并行(ring sequence parallel……更多
AI科学家太多,谁靠谱一试便知!普林斯顿新基准CORE-Bench:最强模型仅有21%准确率
...评估AI智能体在计算可重复性方面的表现,最简单任务的准确率可以达到60%,最难任务准确率仅有21%大模型的能力越来越强,用户在一些重要的任务中也可以依赖大模型,比如说辅助做科研。不过现有科研辅助相关的基准测试都...……更多
还在人工炼丹?自动提示工程指南来了,还带从头实现
...e given problem about geometric shapes.」可以看到,性能并不好,准确率只有 36%,应该有很大的改进空间。不过,在使用 APE 之前,让我们先尝试下一种提示技术:思路链(CoT)推理;这种技术虽然对原始提示词修改不多,但事实证明却...……更多
...模型预测的有效性,确保模型能准确反映市场动态。采用准确率、召回率等评估指标,对模型性能进行量化衡量,是这个阶段的关键操作。金融领域对预测准确性的要求极高,因此,模型要持续优化和更新以适应市场变化。(二)...……更多
...反馈,不断优化数据模型和算法,提高风险识别和预警的准确率。同时,根据实际业务需求和市场变化,持续改进数据管理流程和方法,提升金融风险数据资产的管理水平。信息化在金融风险数据资产建设方面发挥着重要作用。...……更多
MMMU华人团队更新Pro版!多模态基准升至史诗级难度:过滤纯文本问题、引入纯视觉问答
...多学科多模态理解和推理(MMMU)基准测试中取得了69.1%的准确率。不过,基准测试结果是否真的能反映模型对多样化主题的深入理解,仍然有争议,或者说模型是否只是利用了统计模式,而非依靠理解和推理的情况下就能得出正...……更多
chatgpt教你写ai包教包会,准确度最高达99.7%
...25岁小哥,让ChatGPT帮他创建了个地理位置识别程序,最终准确率最高达99.7%。而且各种细节步骤全在,一边干活还一边教你学习。这一波,被ChatGPT感动到了。更贴心的是,在每次答疑解惑完,ChatGPT都会说上一句:如果你有任何...……更多
...键步骤。统计学方法提供了各种性能指标,如均方误差、准确率、召回率和F1分数等,用于衡量模型的性能。这些指标允许我们量化模型的预测能力,并对不同模型进行比较。通过统计学方法,我们可以确定哪种模型在特定任务...……更多
AI 面试:蓝海还是“难海”?
...主研发的 AIGC HR 行业大模型和多模态算法,人机对比实验准确率超 92%,在国际处于技术领先水平,但却在融资和业务拓展中遭遇重重困难。在 AI 招聘的蓝海市场中,作为一家创业期的 AI 招聘公司,近屿智能如何向客户证明 AI ...……更多
AI诊断抑郁症,准确率高达97.53%的秘诀何在?
...结合语音和大脑活动数据后,这个模型在诊断抑郁症时的准确率高达97.53%,比其他方法都要好得多。“这是因为语音里有很多我们现在还无法从大脑里直接得到的信息。”Maskeliūnas解释道。参与这项发明的KTU博士生Musyyab Yousufi说...……更多
GPT-4批评GPT-4实现「自我提升」!OpenAI前超级对齐团队又一力作被公开
...的批评意见更长时,也更容易出现幻觉。这有点类似于「准确率」和「召回率」之间的权衡。FSBS能够激励CriticGPT在产生更长、更全面的批评时,减少「无中生有」或者「鸡蛋里挑骨头」的发生率。之后进行的消融实验也证明了FS...……更多
检索总结能力超博士后,首个大模型科研智能体PaperQA2开源了
...一组新的 101 个 LitQA2 问题。PaperQA2 在原始 147 个问题上的准确率与后一组 101 个问题的准确率没有显著差异,这表明在第一阶段的优化已经很好地推广到了新的 LitQA2 问题(下表 2)。 PaperQA2 性能分析研究者尝试改变 PaperQA2 的参...……更多
4轮暴训,Llama 7B击败GPT-4!Meta等让LLM「分饰三角」自评自进化
...是希望actor能生成更好的响应,但训练效率依赖于judge的准确率。因此,meta-judge作为训练judge的角色,可以同时提升模型作为actor和judge的性能。这三种角色组成的迭代训练模式如图1所示,在第t个步骤中,先收集模型M_t对提示x的...……更多
...异化的判断、分析,可有效提高冲击地压灾害风险识别的准确率。作为国家安全监察局“全国煤矿高危灾害风险分析系统”的重要组成部分,该分析评估系统自2020年9月正式启用以来,已累计完成全国80座冲击地压矿井的风险评...……更多
谷歌推出搜索增强事实评估器
...答中“满口跑火车”,甚至“造谣”。图源Pixabay防止AI大模型出现这种行为并非易事,且是一项技术性的挑战。不过据外媒Marktechpost报道,谷歌DeepMind和斯坦福大学似乎找到了某种变通办法。研究人员推出了一种基于大语言模型...……更多
...。经过测试,大模型能在一两秒内快速检索百万级数据,准确率高达95%。刘宏斌表示,CARES Copilot 1.0目前已在香港多家医院的不同科室进行了实地测试和优化,验证了其作为手术智能辅助工具的基础功能和关键技术。下一步,研...……更多
更多关于科技的资讯:
大众拒绝工会提议坚持降薪 德国大众工人下周一开始罢工
快科技12月1日消息,据报道,大众汽车近日拒绝了工会提出的节约成本的提议,仍要求员工降薪10%。而根据工会的建议,大众汽车可采用节约成本的方式来维持运营
2024-12-01 08:05:00
产品的IP等级
IP等级:电气设备外壳防护的标准化评估IP等级,即IngressProtection的缩写,是一种普遍采用的标准,用于评估电气外壳的密封有效性等级
2024-12-01 08:34:00
4人靠云养牛骗了5个亿:实际一头都没有 牛群全是网上找的照片
快科技12月1日消息,据央广网报道,上海警方近日成功侦破一起以互联网“云养牛”为幌子的非法集资案件,抓获犯罪嫌疑人4人
2024-12-01 09:35:00
错过等明年!小米手机8折换电池最新机型:38款有份 79元起
快科技12月1日消息,今日,小米公布12月服务周小米8折换电池最新机型,活动时间从即日开始至12月7日24:00结束,错过就要等明年了
2024-12-01 10:35:00
喝完酒坐副驾自动驾驶算酒驾吗 网友热议
快科技12月1日消息,国内各家新能源车企普遍都推出了高阶智驾功能,能进行一定程度的自动驾驶。而喝完酒后坐在副驾,让车辆自动驾驶的话
2024-12-01 10:35:00
战斗法师来了!Intel新一代独立显卡Battlemage将于12月3日发布:两大型号 还有限量版
快科技12月1日消息,Intel官方日前发布预告称,“我们有一些显卡大新闻”,展示时间定于12月3日。据悉,届时Intel将发布新一代Arc独立显卡——Battlemage(战斗法师)
2024-12-01 10:35:00
米家首款彩屏牙刷!小米米家声波扫振电动牙刷Pro发布:199元 内置算法模型
快科技12月1日消息,今日,小米米家声波扫振电动牙刷Pro发布,售价249元,首发到手价199元,将于12月3日10:00正式开售
2024-12-01 11:35:00
2024年降噪耳机购买指南:性价比超高的降噪耳机推荐榜单
随着无线耳机技术的飞速发展,降噪耳机已成为现代生活中不可或缺的伴侣。无论是在通勤途中、旅行时还是在家中,降噪耳机都能有效隔绝外界噪音
2024-12-01 11:38:00
别克GL8家族11月订单突破1.5万台:金桥工厂产能正全力冲刺
快科技12月1日消息,上汽通用汽车宣布,别克GL8家族11月订单量突破1.5万台。为满足用户需求,上汽通用金桥豪华车工厂正全力生产
2024-12-01 12:05:00
外卖小哥真实收入首次揭秘!每天工作6小时、月入过万是真的吗
快科技12月1日消息,近年来,骑手从业者从零迅速发展至百万量级,不仅成为社会就业的蓄水池,也成为全社会舆论关注的对象。比如
2024-12-01 12:05:00
立兴食品荣获“大国好货·2024年度品牌企业”
怀大国匠心,造品质好货。2024年11月28日,第31届中国国际广告节大国好货嘉年华在福建厦门国际会议展览中心B1馆盛大启幕
2024-12-01 12:22:00
山海t5量产车谍照曝光,满电续航1400km
奇瑞汽车旗下的捷途品牌推出了其首款硬派SUV——山海T5,这款备受期待的车型最近曝光了量产车谍照。山海T5以其卓越的越野性能和超长续航能力成为焦点
2024-12-01 13:25:00
博主亲测腾势z9,在140km/h爆胎
日前,博主“吴佩”发文称,他和赵长江在直播里面亲身体验了140km/h爆胎,用一个词形容:无感。实测视频中,车辆在140km/h爆胎后
2024-12-01 13:26:00
据国外媒体报道,有网友透露称,英伟达已在9月份向任天堂的一家合同组装商运送了超过80万颗芯片。虽然任天堂官方一直对Switch2的发布日期保持沉默
2024-12-01 13:27:00
首批智界新s7车主交车,有四大焕新
智界新S7于今日开启全国大规模交付,广东深圳,余承东现身智界新S7首批车主交付新车现场,亲自为车主交车。有博主拍下的照片显示
2024-12-01 13:28:00