• 我的订阅
  • 头条热搜
DeepSeek/o3的弱点找到了!三心二意 明明对了又改错了
...所有测试的类o1模型都存在显著的思维不足问题。模型的准确率与思维不足之间的关系在不同数据集上表现各异。在MATH500-Hard和GPQA Diamond数据集上,性能更优的DeepSeek-R1-671B模型在取得更高准确率的同时,其UT得分也更高,表明错...……更多
Bengio团队提出多模态新基准,直指Claude 3.5和GPT-4o弱点
...)两部分作为上下文信息,模型能还原出被遮住的文字的准确率。蓝色框内表示仅包含图像中的文字(TEI)的作为上下文信息,并不包含图像(VI),模型能还原出的遮住文字的准确率。 结果表明:绝大多数模型目前都不能胜...……更多
推理性能直逼o1,DeepSeek再次出手,重点:即将开源
...的推理过程。如上图中的红色实线所示,模型所能达到的准确率与所给定的推理长度呈正相关。且相比于传统的多次采样 + 投票(Majority Voting),模型思维链长度增加展现出了更高的效率。最惊艳的是,发布即上线:所有用户均...……更多
OpenAI直播第二弹!奥特曼2024年最大惊喜竟来自字节?强化微调让o1-mini逆袭o1
...今最强的基础模型o1。其中,强化微调版的o1 mini,在Top-1准确率上直接跃升180%达到了31%,远超o1的25%。 对此,奥特曼激动地表示:「这项工作效果出奇得好,是我2024年最大的惊喜之一!非常期待大家会用它去构建什么。」目前...……更多
...重要线索,如果模型拥有更长的“思考时间”,它的解题准确率就会显著提高。为什么“长”如此关键?胡倞成解释,Transformer 计算深度有限,只能做有限步的计算,复杂问题如果不能拆分,就超出了模型的处理能力。只有当模...……更多
科大讯飞联手华为首次攻克全国产算力下推理模型训练难关
...步验证成效,可使得专科辅助诊断和复杂病历内涵质控的准确率均达90%。发布会上,科大讯飞还宣布将在今年上半年正式发布基于讯飞星火X1的医疗大模型升级版,确保其深层次诊断推理效果和质控能力业界领先。02 讯飞星火4.0 ...……更多
开源大模型杀疯了!Mistral新模型三分之一参数卷爆Llama 3.1
...编程语言。特别在MMLU上,其预训练版本更是达到了84.0%的准确率。消息一出,Mistral AI联创兼首席科学家第一时间转发,直接cue Llama 3.1 405B的那种:Perplexity CEO Aravind Srinivas也开麦了:开源追赶闭源的趋势很明显,未来闭源模型只..……更多
国产大模型首发中文逻辑推理,「天工大模型4.0」o1版来了
...。在 MATH 数据集上,Q * 帮助 DeepSeek-Math-7b 提升至 55.4% 的准确率,超越了 Gemini Ultra。Q * 算法论文地址:https://arxiv.org/abs/2406.14283可以看出,昆仑万维的技术已经达到了业界的领先水平,在竞争激烈的生成式 ……更多
阿里多模态检索智能体,自带o1式思考过程!复杂问题逐步拆解
...问题,OmniSearch的表现显著优于GPT-4V结合启发式mRAG方法,准确率提升了近88%。 多模态知识需求:OmniSearch能够有效地结合图像和文本进行检索,其在需要额外视觉知识的复杂问题上的表现远超现有模型,准确率提高了35%以上。 ...……更多
...表示,借助多模态的思考能力,VLM-R1将显著提升图像识别准确率,并生成相应的解决方案,“目前版本还处于1.0阶段,仍需更多实验来完善。” ……更多
长上下文能力只是吹牛?最强GPT-4o正确率仅55.8%,开源模型不如瞎蒙
...绩直接惨不忍睹,表现最好的Command R(simple)只有22.47%的准确率。——要知道,这考试瞎蒙也能得25分(四选一)。 当然,这也说明人家不是瞎蒙的,确实动脑子了。视觉上的长上下文另一篇研究来自UCSB,考察的是视觉大模型...……更多
港中文团队提出大模型元推理范式,革新大模型的评价体系
...:在教育领域,如果 GPT4 在小学级别的数学题目上的评测准确率只有四成,那么我们难免会对 GPT4 的实用性产生怀疑。在咨询领域,大模型的应用场景高度依赖于对不同方案的推演、整体步骤的拆分、解析等能力。而当今大模型...……更多
给小学数学题加句废话,OpenAI o1就翻车了,苹果论文质疑AI推理
...据集之间,模型存在显著的性能波动,以及与原始 GSM8K 准确率相当的性能下降。这种差异表明,大型语言模型所采用的推理过程可能不是形式化的,因此容易受到某些变化的影响。一个可能的解释是这些模型主要专注于分布内...……更多
多模态LLM视觉推理能力堪忧,浙大领衔用GPT-4合成数据构建多模态基准
...调模型。经过测试,人类在该基准上可以达到至少82.1%的准确率,但Claude 3.5 Sonnet和GPT-4o等顶流模型的成绩却远远落后于人类,分别只有64.7%和59.9%。 目前全部数据已经上传至HuggingFace仓库。仓库地址:https://huggingface.co/da……更多
菲尔兹奖得主亲测GPT-4o,经典过河难题破解失败!最强Claude 3.5回答离谱,LeCun嘲讽LLM
...推理问题。刚刚发布时,人类在HellaSwag上能达到超过95%的准确率,SOTA分数却始终难以超过48%。但这种情况并没有持续很久。各个维度的分数持续猛涨,2023年3月,GPT-4在HellaSwag上的各项得分就逼近,甚至超过了人类水平。 https://...……更多
无一大模型及格! 北大/通研院提出超难基准,评估长文本理解生成
...T4-8k、GPT3.5-turbo-6k、LlamaIndex这种商业模型,平均只有40%的准确率。而像开源模型表现就更不理想了…ChatGLM2-6B、LongLLaMa-3B、RWKV-4-14B-pile、LLaMA-7B-32K平均只有10%的准确率。目前该论文已被ACL 2024接……更多
自我纠错如何使OpenAI o1推理能力大大加强?北大MIT团队理论解释
...的正确率高于原正确率(图4) 正确率提升与自我评估的准确率高度相关(图4(c):),甚至呈线性关系(图5(a))。 采用不同的评价方式效果依次提升:仅使用对/错评价 < 自然语言评价 < 包含 CoT 的对/错评价。这是因为 C...……更多
罗格斯大学团队提出思想链概念,提高大模型的算数推理能力
...引入思想链(CoT,Chain of Thought)的概念,提高了大语言模型(LLM,large language models)在复杂推理任务上的性能,例如算术推理、常识推理和符号推理等。图 | 金明宇(来源:金明宇)CoT 的原理是通过提供推理过程的示例,来教...……更多
MMMU华人团队更新Pro版!多模态基准升至史诗级难度:过滤纯文本问题、引入纯视觉问答
...多学科多模态理解和推理(MMMU)基准测试中取得了69.1%的准确率。不过,基准测试结果是否真的能反映模型对多样化主题的深入理解,仍然有争议,或者说模型是否只是利用了统计模式,而非依靠理解和推理的情况下就能得出正...……更多
表格增强生成TAG登场:解锁AI自然语言与数据库的完美结合
...来总结评论。实验及结果表 1 显示了每种方法的精确匹配准确率和执行时间。如表所示,在选定的 BIRD (一个数据集,用于测试 LMs 的文本到 sql 的能力)查询类型中,研究者发现手写 TAG(hand-written TAG)基线始终能达到 40% 或更...……更多
OpenAI发布最新技术研究,AI“黑盒”不再是难题!
...小模型来验证、监督,GPT-4大模型的输出,从而提升输出准确率以及可控性。PVG技术概念早在2021年8月的一篇论文中就被提出来,OpenAI也正是受此灵感启发。这是一种基于博弈论的训练方法,通过模拟证明者和验证者之间的互动...……更多
OpenAI升级o3-mini模型思维链:提升AI推理过程透明度
...非凡实力。在软件基准测试SWE-bench Verified中,o3以71.7%的准确率傲视群雄,较其前辈o1模型性能提升超20%。在编程竞技领域,o3于Codeforces竞赛中的评分高达2727分,直逼OpenAI内部顶尖程序员的水平。更令人瞩目的是,在AIME数学竞赛...……更多
思维链让大模型推理更准确?谷歌早于OpenAI押中o1模型核心原理
...。根据结果,二者差异显著,其中,前者正确解决问题的准确率是 13.4%,而 o1 的准确率则能够达到 83.3%。这种推理能力的重要意义在于,有望在更广泛的领域应用,例如,药物发现、材料科学、编程、高等数学和物理等。o1 实...……更多
谷歌最新自然语言推理算法
...能让GPT-3的推理性能大幅提升,比如在MultiArith中就将推理准确率从之前的17.7%一下提升到了78.7%但诸如CoT和SelectionInference等方法都是以前向(forwarddirection)的方式从公理(axioms)中搜索证明过程(proof)以推导出最终结论(c……更多
媲美OpenAI事实性基准,这个中文评测集让o1-preview刚刚及格
...T-4o mini 仅 37.6 分,ChatGLM3-6B 和 Qwen2.5-1.5B 仅 11.2 和 11.1 的准确率。基于中文 SimpleQA,我们对现有 LLM 的事实性能力进行了全面的评估。并维护一个全面的 leaderboard 榜单。同时我们也在评测集上实验分析了推理 s……更多
蚂蚁自研知识增强大模型服务框架KAG,可显著提升知识推理准确率
...AI 原生 App “支小宝” 采用这套框架,在政务问答场景的准确率提升到了 91%,医疗问答垂直的指标解读准确率可达 90% 以上。梁磊还透露,KAG 框架会进一步向社区开放,并在开源框架 OpenSPG (https://github.com/OpenSPG/openspg) 中原生支..……更多
首个o1复现开源RL框架OpenR来了,UCL、上交等高校联合团队发布
...法在推理过程中的性能。y 轴表示 MATH500 数据集上的测试准确率,而 x 轴显示生成预算(每个问题的平均标记数),反映了每个问题的计算消耗或标记使用情况。该图表明,随着生成预算的增加,最佳 N 选择和束搜索方法的性能...……更多
CMU清华教LLM练成数学高手,LeanSTaR训练模型边思考边证明,登顶新SOTA
...增强),对比Lean-CoT和Lean-STaR的表现。仅用专家迭代时,准确率就达到了43.0%,低于Lean-STaR (45.5%)。这表明Lean-STaR的性能提升不仅仅来自于专家迭代的使用,思维增强也有不可忽略的效果。问题类型与难度MiniF2F-test中的问题有多个...……更多
检索总结能力超博士后,首个大模型科研智能体PaperQA2开源了
...一组新的 101 个 LitQA2 问题。PaperQA2 在原始 147 个问题上的准确率与后一组 101 个问题的准确率没有显著差异,这表明在第一阶段的优化已经很好地推广到了新的 LitQA2 问题(下表 2)。 PaperQA2 性能分析研究者尝试改变 PaperQA2 的参...……更多
清华开源混合精度推理系统MixQ:大模型近无损量化并提升推理吞吐
...合精度量化的LlaMA模型在MMLU 20个领域上的数据集进行推理准确率测试表明,采用8bit混合精度量化后的准确率下降不到0.1%:△图6 混合精度量化分类准确率不过,此前已有的混合精度量化的系统的性能普遍不高,主要瓶颈在针对...……更多
更多关于科技的资讯:
2025北京文化论坛“虚实无界:视听产业融合破圈”平行论坛举办
中国青年报客户端北京9月23日电(中青报·中青网记者 沈杰群)今天,2025北京文化论坛平行论坛——“虚实无界:视听产业融合破圈”在北京国际饭店会议中心举行
2025-09-24 00:03:00
中信银行南京分行成功举办“小天元”企业生态服务平台江苏区域发布会
9月22日下午,在百余家江苏企业代表的共同见证下,中信银行“小天元”企业生态服务平台江苏区域发布会暨“进万企 信服惠企”系列活动在南京成功举办
2025-09-23 23:15:00
聚焦京津冀协同发展|一个平台,推动黄骅模具迈向高端
北京市科学技术委员会牵头,京冀相关单位共建智能模具科技成果转化中试平台一个平台,推动黄骅模具迈向高端9月11日,智能模具科技成果转化中试平台工作人员正在操作四轴机床进行生产
2025-09-23 08:49:00
AI赋能千行百业一线故事(十二):数智化转型,让电厂越来越智慧
数智化转型,让电厂越来越智慧——AI赋能千行百业一线故事(十二)8月28日,石家庄良村热电有限公司生产技术部专业主管苏朝宏介绍智慧展厅
2025-09-23 08:53:00
“产业炬光灯”系列短视频首期聚焦中材航特
“产业炬光灯”系列短视频于厦门日报官方视频号、抖音号、快手号、B站账号、央视频账号等全媒体平台同步上线,首期节目走进中材航特
2025-09-23 08:58:00
厦门网讯(厦门日报记者 林雯)旧低效工业用地加速变身科创高地。近日,随着位于思明区前埔片区的2025P13、2025P14地块成功出让
2025-09-23 08:58:00
国网厦门供电公司持续推进“EASIER用电”品牌建设
国网厦门供电公司为厦门天马微电子有限公司创造更优质、更稳定的用电环境。(国网厦门供电公司 供图)“EASIER用电”品牌厦门网讯(厦门日报记者 刘艳 通讯员 林艳婷 高芳 郭芷祎)近年来
2025-09-23 08:58:00
山东移动泰安分公司数智融合加速 赋能企业蝶变升级
鲁网9月22日讯数字化浪潮正在席卷千行百业,山东移动泰安分公司(简称:泰安移动)以“技术赋能、生态协同、梯次服务”为核心
2025-09-23 10:01:00
企鹅网络(Q学友)与腾讯云达成战略合作,携手共创“AI+职业教培”新范式
9月16日-17日,2025腾讯全球数字生态大会在深圳举办。大会期间,深圳市企鹅网络科技有限公司(以下简称“企鹅网络”)与腾讯云正式签署战略合作协议
2025-09-23 10:39:00
本报记者 赵 曦 □ 花沁昕“白天的时间都用于工作和社交,只有夜晚的时间才真正属于自己,我舍不得睡,但真想睡的时候又睡不着了
2025-09-23 10:48:00
科学为基,爱心为桥:儿童营养品牌inne携手德甲冠军俱乐部启动全球公益计划
在全民健康意识提高与消费升级的双重驱动下,新一代父母对儿童营养的重视程度前所未有。消费需求愈发细分、专业,推动儿童营养品行业从“标准化供给”向“专业化服务”转变
2025-09-23 11:20:00
《金刚狼》《权游》供应商分拆机器人数据业务,腾讯、字节大牛加入 | 智能涌现独家
文|邱晓芬编辑|苏建勋2023年底,全球出货量最大的动作捕捉设备提供商"诺亦腾(Noitom)"联合创始人戴若犁,一度以为自己被骗了
2025-09-23 20:47:00
近8成职场人每周都会使用AI工具 通用对话型AI占比最高
在人工智能技术日臻成熟的2025年,AI已不再是科幻概念或实验室产物,而是深度融入职场生态的“数字同事”。从“工具”走向“伙伴”
2025-09-23 11:37:00
罗永浩宣布“将测评预制菜”,网友:气氛都烘托到这了,要不转型做预制菜吧
9月23日凌晨,罗永浩在微博发文称,将和团队一起,对市面在售的预制菜进行测评。他表示自己“陷入了深深的思考:为什么电商网站上能买到的预制菜
2025-09-23 11:54:00
首届“洞见未来·乡村振兴共创周” 及“怀柔乡村振兴新主体联盟”启动仪式在北京怀柔成功举办
金秋九月,长城栗乡,9月20日至21日,首届“洞见未来·乡村振兴共创周”在北京市怀柔区精彩启幕。活动以“探索新路径、凝聚新合力
2025-09-23 12:10:00