• 我的订阅
  • 头条热搜
推理性能直逼o1,DeepSeek再次出手,重点:即将开源
...出手了,这次又是重磅炸弹。昨晚,DeepSeek 上线了全新的推理模型 DeepSeek-R1-Lite-Preview,直接冲击 OpenAI o1 保持了两个多月的大模型霸主地位。在美国数学竞赛(AMC)中难度等级最高的 AIME 以及全球顶级编程竞赛(codeforces)等权...……更多
大模型步入推理Scaling时代,SambaNova如何挑战英伟达的霸主地位
...震。o1 能像人类一样「思考」复杂问题,拥有优秀的通用推理能力。在未经专门训练的情况下,o1 能够直接拿下数学奥赛金牌,甚至能在博士级别的科学问答环节上超越人类专家。在性能跃升之外,更重要的是,它揭示了大模型...……更多
收入占比40%、电话会议点名16次,英伟达:推理端的需求被低估了
...让人印象深刻的是,英伟达在财报电话会议的一个观点:推理端的爆发,可能很多人还是低估了。据英伟达电话会议披露,公司全年数据中心里已经有40%的收入来自推理业务,超出了绝大部分人预期。而在这次财报电话会议里,...……更多
奥林匹克竞赛里选最聪明的AI:Claude-3.5-Sonnet vs. GPT-4o?
...异,近来Anthropic公司最新发布的Claude-3.5-Sonnet因在知识型推理、数学推理、编程任务及视觉推理等任务上设立新行业基准而引发广泛讨论:Claude-3.5-Sonnet 已经取代OpenAI的GPT4o成为世界上”最聪明的AI“(Most Intelligent AI)了……更多
CPU,正在被AI时代抛弃?
...以通过语音识别技术被录入到病例系统中,随后大模型AI推理技术辅助进行智能总结和诊断,医生们撰写病例的效率显著提高。AI推理的应用不仅节省了时间,也保护了患者隐私;在法院、律所等业务场景中,律师通过大模型对...……更多
刚刚,OpenAI震撼发布o1大模型!强化学习突破LLM推理极限
...专门解决难题。这是一个重大突破,新模型可以实现复杂推理,一个通用模型解决比此前的科学、代码和数学模型能做到的更难的问题。OpenAI 称,今天在 ChatGPT 和大模型 API 中新发布的是该系列中的第一款模型,而且还只是预览...……更多
大模型推理乘上RISC-V快车?国内AI芯片创企推大模型系列一体机
...并发、技术自主可控方面具有优势的新选择。AI大模型在推理侧的新机遇与RISC-V创新架构具有的可扩展性、可编程性、超大规模等优势特点不谋而合。技术和场景应用的双重优势下,希姆计算的大模型一体机能支撑企业将基座模...……更多
零一万物Yi-1.5来了,国产开源大模型排行榜再次刷新
... Yi-1.0 的持续预训练版本,使用 500B 个 token 来提高编码、推理和指令执行能力,并在 300 万个指令调优样本上进行了精细调整。刚一发布,就已经有开发者跃跃欲试:并收获了好评: 与前序模型相比,Yi-1.5 系列模型进一步提升...……更多
谷歌最新自然语言推理算法
谷歌发布全新反向推理算法LAMBADA,无惧搜索空间爆炸!自动推理绝对算是自然语言处理领域的一大难题,模型需要根据给定的前提和知识推导出有效且正确的结论。尽管近年来NLP领域借着大规模预训练语言模型在各种「自然语...……更多
手机上能跑的「GPT-4V」来啦!多图、视频理解首次上端!面壁小钢炮开源史上最强端侧多模态
...类模型低 75%。端侧友好:量化后端侧内存仅占 6 GB;端侧推理速度高达 18 tokens/s,相比上代模型快 33%。并且发布即支持 llama.cpp、ollama、vllm 推理;且支持多种语言。统一高清框架,高效能力一拖三:小钢炮的传统优势 OCR 能力延...……更多
影响英伟达根本逻辑的大争论:OpenAI改变策略意味着什么?谁在撒谎?
大模型预训练“缩放定律”定律失效?模型推理成“解药”,英伟达一家独大格局要变天?“缩放定律”指导下,AI大模型预训练目前遭遇瓶颈。据路透12日报道,硅谷主要AI实验室的新模型训练计划目前普遍进展不顺,新模型...……更多
思维链让大模型推理更准确?谷歌早于OpenAI押中o1模型核心原理
...本质的不同。其不仅进入到复杂的领域,还表现出超强的推理能力。OpenAI 将 GPT-4o 和 o1 在国际数学奥林匹克竞赛资格考试方面进行对比测试。根据结果,二者差异显著,其中,前者正确解决问题的准确率是 13.4%,而 o1 的准确率...……更多
罗格斯大学团队提出思想链概念,提高大模型的算数推理能力
...概念,提高了大语言模型(LLM,large language models)在复杂推理任务上的性能,例如算术推理、常识推理和符号推理等。图 | 金明宇(来源:金明宇)CoT 的原理是通过提供推理过程的示例,来教会模型处理推理,详细说明导致最...……更多
黄仁勋:我从不在乎市场份额、英伟达唯一目标是创造新市场
...英伟达,老黄还讨论了AGI的智能扩展、机器学习的加速、推理与训练的重要性……虽然时长感人(近1个半小时),但一大波网友已经看完并交起了作业(开始卷了是吧!)网友:学起来!学起来! 黄仁勋:未来推理的增长将远...……更多
国产大模型第一梯队玩家,为什么pick了CPU?
...占绝对大头的因素——算力。 现在提及大模型的训练和推理,很多人的第一反应或许就是想到了GPU。诚然GPU在高性能上占据着一定的优势,但它所存在“硬伤”也是比较明显,那便是供应不足、价格昂贵。何以破局?国产大模...……更多
阿里云全面升级GPU云服务:AI大模型推理性能可提升100%
...云推出全面升级的GPU云服务,通过全新优化GPU套件,多GPU推理服务性能可最大提升100%。针对调用GPU算力最常用的容器技术,阿里云推出ACK云原生AI套件,帮助开发者及企业更高效地开发和部署AI应用,加速大模型应用落地。随着A...……更多
突破时间序列组合推理难题!南加大发布一站式多步推理框架TS-Reasoner
【新智元导读】TS-Reasoner是一个创新的多步推理框架,结合了大型语言模型的上下文学习和推理能力,通过程序化多步推理、模块化设计、自定义模块生成和多领域数据集评估,有效提高了复杂时间序列任务的推理能力和准确性...……更多
给小学数学题加句废话,OpenAI o1就翻车了,苹果论文质疑AI推理
苹果新论文:AI 大模型可能不会推理。AI 大模型(LLM)真的像我们理解的那样能「思考」或「推理」吗?最近,苹果的一篇论文探讨了这个问题,并且给出了一个倾向于「否」的答案。相关帖子被很多人围观。这篇题为「GSM-Symb...……更多
发布一揽子新品,AMD再次挑战英伟达!但败局早已注定?
...在加快追赶英伟达的步伐,以最新的Instinct MI325X为例,其推理性能甚至比英伟达刚发货的H200还高20%以上。不过强大的推理性能是靠远大于H200的显存所换来的,MI325X拥有多达256GB的HBM3E内存,这是目前全球性能最强的内存,连带着...……更多
阿里云CTO周靖人:全面投入升级AI大基建
...级从服务器到计算、存储、网络、数据处理、模型训练和推理平台的技术架构体系,让数据中心成为一台超级计算机,为每个AI和应用提供高性能、高效的算力服务。大会现场,通义大模型迎来了年度重磅发布,基础模型升级,...……更多
北大推出全新机器人多模态大模型!面向通用和机器人场景的高效推理和操作
...码仓库 Trending Research 第一位。为了赋予机器人端到端的推理和操纵能力,本文创新性地将视觉编码器与高效的状态空间语言模型集成,构建了全新的 RoboMamba 多模态大模型,使其具备视觉常识任务和机器人相关任务的推理能力,...……更多
推理性能提升30倍!英伟达发布史上最强AI芯片,黄仁勋:将成最成功产品
...结合了两个B200 GPU和一个独立的Grace CPU,将能够使大模型推理工作负载的性能提升30倍,同时提高效率。相比于H100,它可以“将成本和能源消耗降至1/25”。这就意味着,以前训练一个拥有1.8万亿参数的模型需要8000个Hopper GPU 和15...……更多
清华开源混合精度推理系统MixQ:大模型近无损量化并提升推理吞吐
一键部署LLM混合精度推理,端到端吞吐比AWQ最大提升6倍!清华大学计算机系PACMAN实验室发布开源混合精度推理系统——MixQ。MixQ支持8比特和4比特混合精度推理,可实现近无损的量化部署并提升推理的吞吐。△图1 MixQ吞吐与已有...……更多
跨越算力鸿沟丨星凡科技2024AI算力集群产品发布会圆满成功
...单纯的计算资源提供者,他们需要向客户提供大模型训练推理等增值服务,以减少客户在模型开发过程中的成本负担,助力客户进行人工智能转型,从而实现双赢。”超新星分布式微算力中心——AICC建设运营高性价比选择本次...……更多
百倍提升7B模型推理能力!颜水成团队携手新加坡南洋理工大学发布Q*算法
...-7b等小模型达到参数量比其大数十倍、甚至上百倍模型的推理能力,使模型性能迎来惊人提升。自OpenAI的Q*项目曝光后,业内相关讨论始终层出不穷。据现有信息汇总,Q*项目被视作OpenAI在探索人工通用智能(Artificial General Intelli...……更多
ASC24超算大赛启动会在京举行,大模型推理等成为赛题
...在上海大学举行的总决赛。据悉,今年的赛题包括大模型推理优化、渗流数值模拟,以及国际通行基准测试HPL和HPCG等。来自高性能计算和人工智能领域的中国科学院院士、中国工程院院士、专家学者及参赛师生代表等参加了启...……更多
对标o1,Kimi放出了最能打的国产模型
...历新一轮技术范式的变化,预训练 Scaling Law 放缓之后,推理时间计算成为了新的性能提升关键。两个月前,OpenAI o1 的诞生再次引领了大模型技术的突破。从后训练阶段入手,通过更多的强化学习、原生的思维链和更长的推理时...……更多
北大等发布多模态版o1!首个慢思考VLM将开源,视觉推理超闭源
...ion模型打造,超越传统思维链提示,实现自主“慢思考”推理。在多模态推理基准测试中,LLaVA-o1超越其基础模型8.9%,并在性能上超越了一众开闭源模型。新模型具体如何推理,直接上实例,比如问题是:减去所有的小亮球和紫...……更多
AMD的GPU跑AI模型终于Yes了?PK英伟达H100不带怕的
...:「算力这块,你可以用别的芯片,但是这些芯片用来做推理还 OK,做训练的话还要等几年的样子,英伟达还是处在一个垄断的地位。」但基于实证的对比研究却往往又会给出不一样的答案,比如在同一个演讲中,李沐还提到了...……更多
NVIDIA RTX显卡AI推理提速5倍!
...得更好的加速和应用。其中,TensorRT-LLM是一款用于加速LLM推理的库,可大大提升AI推理性能,还在不断更以支持越来越多的语言模型,而且它还是开源的。就在10月份,NVIDIA也发布了面向Windows平台的TensorRT-LLM,在配备RTX30/40系列GP...……更多
更多关于科技的资讯:
大皖新闻讯 记者1月23日从合肥市商务局公告获悉,合肥市商务局拟开展2025年合肥市家电及数码产品“焕新”补贴发放工作
2025-01-23 22:49:00
1999年内衣广告轰动全国 当事人感慨:曾羞耻崩溃 如今自豪
快科技1月23日消息,今天,演员倪虹洁勇敢地分享了自己一段尘封已久的往事。那是在1999年,她拍摄的一则内衣广告,在那个相对保守的年代
2025-01-23 23:03:00
凯迪拉克史上最速车型!全新锐歌LYRIQ-V登场:零百仅需3.3秒
快科技1月23日消息,凯迪拉克宣布推出其首款纯电动高性能车型——2026款LYRIQ-V,标志着高性能V系列正式迈入电动化时代
2025-01-23 23:33:00
2025年奥斯卡提名公布:《艾米莉亚·佩雷斯》成最大赢家
快科技1月23日消息,2025年第97届奥斯卡提名今天正式公布。其中,Netflix出品的歌舞片《艾米莉亚·佩雷斯》可谓最大赢家
2025-01-24 00:03:00
比亚迪智驾总负责人杨冬生:顶级的制度才会产生无数顶级产品
快科技1月23日消息,近日,比亚迪汽车新技术研究院院长杨冬生在内部讲话中分享了对技术研发、管理及制度的看法,并提出了新的工作方向
2025-01-24 00:03:00
这次玩爽了 黄仁勋已离开中国 下一站飞往日本
快科技1月24日消息,近日,英伟达创始人兼CEO黄仁勋结束了其备受关注的中国之行。据报道,行程结束后,他搭乘私人飞机前往日本
2025-01-24 00:33:00
上万块的安卓机皇来了 似乎还是那个味儿
就在北京时间 1 月 23 号凌晨,三星发布了全新一代 Galaxy S25 系列旗舰手机。用省流的话来说,这一代 S25 系列依旧没啥惊喜
2025-01-24 00:33:00
微信更新后 不用解锁手机 也能接听语音了
虽然现在就是年底,但这两天微信一个更新,还是让关注微信的网友直呼——过年了因为 “ CallKit 回归了 ” 。不过和往常一样
2025-01-24 00:33:00
小米空调2025年目标破1000万台!自建工厂:自研自产
快科技1月24日消息,据博主@小马甲不小 透露,小米空调2025年的销量目标是突破1000万台。根据小米此前公布的数据
2025-01-24 00:33:00
我国牵头!7项新能源汽车领域国际标准项目立项
快科技1月24日消息,近日,国际标准化组织批准由我国牵头的7项新能源汽车领域国际标准项目立项,涉及电动汽车整车、动力电池
2025-01-24 00:33:00
一键Get春节大片!腾讯元宝新年AI美照上线:使用攻略来了
快科技1月24日消息,下周就要过年了,春节团圆拍上几张合照必不可少。腾讯元宝AI美照正式上线了新年专题,可以让大家一键Get春节大片
2025-01-24 00:33:00
不买立省100% 但这次手机的国补真有点香了
相信不少小伙伴这几天已经刷到新闻,知道新一轮的国补又来了。但这件事,在咱们差评编辑部里,可以说是有人欢喜有人愁。比如去年那轮国补
2025-01-24 00:33:00
涉及两起命案:福特被深度调查!
快科技1月23日消息,近日,美国家公路交通安全管理局(NHTSA)宣称,已对福特BlueCruise驾驶辅助系统展开工程分析(EA)
2025-01-23 18:33:00
当前设计塞不进电池:纯电版路虎卫士将推迟至2030年
快科技1月23日消息,捷豹路虎首席商务官Lennard Hoornik在接受采访时透露,电动版路虎卫士预计要到2030年前后才会问世
2025-01-23 18:33:00
国人骄傲!阿里云、华为首席技术官双双入选美国计算机协会
快科技1月23日消息,据媒体综合报道,今日凌晨,美国计算机协会 ACM(Association for Computing Machinery)公布了最新一届会士名单
2025-01-23 18:33:00