• 我的订阅
  • 头条热搜
推理性能直逼o1,DeepSeek再次出手,重点:即将开源
...出手了,这次又是重磅炸弹。昨晚,DeepSeek 上线了全新的推理模型 DeepSeek-R1-Lite-Preview,直接冲击 OpenAI o1 保持了两个多月的大模型霸主地位。在美国数学竞赛(AMC)中难度等级最高的 AIME 以及全球顶级编程竞赛(codeforces)等权...……更多
大模型步入推理Scaling时代,SambaNova如何挑战英伟达的霸主地位
...震。o1 能像人类一样「思考」复杂问题,拥有优秀的通用推理能力。在未经专门训练的情况下,o1 能够直接拿下数学奥赛金牌,甚至能在博士级别的科学问答环节上超越人类专家。在性能跃升之外,更重要的是,它揭示了大模型...……更多
收入占比40%、电话会议点名16次,英伟达:推理端的需求被低估了
...让人印象深刻的是,英伟达在财报电话会议的一个观点:推理端的爆发,可能很多人还是低估了。据英伟达电话会议披露,公司全年数据中心里已经有40%的收入来自推理业务,超出了绝大部分人预期。而在这次财报电话会议里,...……更多
奥林匹克竞赛里选最聪明的AI:Claude-3.5-Sonnet vs. GPT-4o?
...异,近来Anthropic公司最新发布的Claude-3.5-Sonnet因在知识型推理、数学推理、编程任务及视觉推理等任务上设立新行业基准而引发广泛讨论:Claude-3.5-Sonnet 已经取代OpenAI的GPT4o成为世界上”最聪明的AI“(Most Intelligent AI)了……更多
CPU,正在被AI时代抛弃?
...以通过语音识别技术被录入到病例系统中,随后大模型AI推理技术辅助进行智能总结和诊断,医生们撰写病例的效率显著提高。AI推理的应用不仅节省了时间,也保护了患者隐私;在法院、律所等业务场景中,律师通过大模型对...……更多
刚刚,OpenAI震撼发布o1大模型!强化学习突破LLM推理极限
...专门解决难题。这是一个重大突破,新模型可以实现复杂推理,一个通用模型解决比此前的科学、代码和数学模型能做到的更难的问题。OpenAI 称,今天在 ChatGPT 和大模型 API 中新发布的是该系列中的第一款模型,而且还只是预览...……更多
大模型推理乘上RISC-V快车?国内AI芯片创企推大模型系列一体机
...并发、技术自主可控方面具有优势的新选择。AI大模型在推理侧的新机遇与RISC-V创新架构具有的可扩展性、可编程性、超大规模等优势特点不谋而合。技术和场景应用的双重优势下,希姆计算的大模型一体机能支撑企业将基座模...……更多
零一万物Yi-1.5来了,国产开源大模型排行榜再次刷新
... Yi-1.0 的持续预训练版本,使用 500B 个 token 来提高编码、推理和指令执行能力,并在 300 万个指令调优样本上进行了精细调整。刚一发布,就已经有开发者跃跃欲试:并收获了好评: 与前序模型相比,Yi-1.5 系列模型进一步提升...……更多
谷歌最新自然语言推理算法
谷歌发布全新反向推理算法LAMBADA,无惧搜索空间爆炸!自动推理绝对算是自然语言处理领域的一大难题,模型需要根据给定的前提和知识推导出有效且正确的结论。尽管近年来NLP领域借着大规模预训练语言模型在各种「自然语...……更多
手机上能跑的「GPT-4V」来啦!多图、视频理解首次上端!面壁小钢炮开源史上最强端侧多模态
...类模型低 75%。端侧友好:量化后端侧内存仅占 6 GB;端侧推理速度高达 18 tokens/s,相比上代模型快 33%。并且发布即支持 llama.cpp、ollama、vllm 推理;且支持多种语言。统一高清框架,高效能力一拖三:小钢炮的传统优势 OCR 能力延...……更多
影响英伟达根本逻辑的大争论:OpenAI改变策略意味着什么?谁在撒谎?
大模型预训练“缩放定律”定律失效?模型推理成“解药”,英伟达一家独大格局要变天?“缩放定律”指导下,AI大模型预训练目前遭遇瓶颈。据路透12日报道,硅谷主要AI实验室的新模型训练计划目前普遍进展不顺,新模型...……更多
思维链让大模型推理更准确?谷歌早于OpenAI押中o1模型核心原理
...本质的不同。其不仅进入到复杂的领域,还表现出超强的推理能力。OpenAI 将 GPT-4o 和 o1 在国际数学奥林匹克竞赛资格考试方面进行对比测试。根据结果,二者差异显著,其中,前者正确解决问题的准确率是 13.4%,而 o1 的准确率...……更多
罗格斯大学团队提出思想链概念,提高大模型的算数推理能力
...概念,提高了大语言模型(LLM,large language models)在复杂推理任务上的性能,例如算术推理、常识推理和符号推理等。图 | 金明宇(来源:金明宇)CoT 的原理是通过提供推理过程的示例,来教会模型处理推理,详细说明导致最...……更多
黄仁勋:我从不在乎市场份额、英伟达唯一目标是创造新市场
...英伟达,老黄还讨论了AGI的智能扩展、机器学习的加速、推理与训练的重要性……虽然时长感人(近1个半小时),但一大波网友已经看完并交起了作业(开始卷了是吧!)网友:学起来!学起来! 黄仁勋:未来推理的增长将远...……更多
国产大模型第一梯队玩家,为什么pick了CPU?
...占绝对大头的因素——算力。 现在提及大模型的训练和推理,很多人的第一反应或许就是想到了GPU。诚然GPU在高性能上占据着一定的优势,但它所存在“硬伤”也是比较明显,那便是供应不足、价格昂贵。何以破局?国产大模...……更多
阿里云全面升级GPU云服务:AI大模型推理性能可提升100%
...云推出全面升级的GPU云服务,通过全新优化GPU套件,多GPU推理服务性能可最大提升100%。针对调用GPU算力最常用的容器技术,阿里云推出ACK云原生AI套件,帮助开发者及企业更高效地开发和部署AI应用,加速大模型应用落地。随着A...……更多
突破时间序列组合推理难题!南加大发布一站式多步推理框架TS-Reasoner
【新智元导读】TS-Reasoner是一个创新的多步推理框架,结合了大型语言模型的上下文学习和推理能力,通过程序化多步推理、模块化设计、自定义模块生成和多领域数据集评估,有效提高了复杂时间序列任务的推理能力和准确性...……更多
给小学数学题加句废话,OpenAI o1就翻车了,苹果论文质疑AI推理
苹果新论文:AI 大模型可能不会推理。AI 大模型(LLM)真的像我们理解的那样能「思考」或「推理」吗?最近,苹果的一篇论文探讨了这个问题,并且给出了一个倾向于「否」的答案。相关帖子被很多人围观。这篇题为「GSM-Symb...……更多
发布一揽子新品,AMD再次挑战英伟达!但败局早已注定?
...在加快追赶英伟达的步伐,以最新的Instinct MI325X为例,其推理性能甚至比英伟达刚发货的H200还高20%以上。不过强大的推理性能是靠远大于H200的显存所换来的,MI325X拥有多达256GB的HBM3E内存,这是目前全球性能最强的内存,连带着...……更多
阿里云CTO周靖人:全面投入升级AI大基建
...级从服务器到计算、存储、网络、数据处理、模型训练和推理平台的技术架构体系,让数据中心成为一台超级计算机,为每个AI和应用提供高性能、高效的算力服务。大会现场,通义大模型迎来了年度重磅发布,基础模型升级,...……更多
北大推出全新机器人多模态大模型!面向通用和机器人场景的高效推理和操作
...码仓库 Trending Research 第一位。为了赋予机器人端到端的推理和操纵能力,本文创新性地将视觉编码器与高效的状态空间语言模型集成,构建了全新的 RoboMamba 多模态大模型,使其具备视觉常识任务和机器人相关任务的推理能力,...……更多
推理性能提升30倍!英伟达发布史上最强AI芯片,黄仁勋:将成最成功产品
...结合了两个B200 GPU和一个独立的Grace CPU,将能够使大模型推理工作负载的性能提升30倍,同时提高效率。相比于H100,它可以“将成本和能源消耗降至1/25”。这就意味着,以前训练一个拥有1.8万亿参数的模型需要8000个Hopper GPU 和15...……更多
清华开源混合精度推理系统MixQ:大模型近无损量化并提升推理吞吐
一键部署LLM混合精度推理,端到端吞吐比AWQ最大提升6倍!清华大学计算机系PACMAN实验室发布开源混合精度推理系统——MixQ。MixQ支持8比特和4比特混合精度推理,可实现近无损的量化部署并提升推理的吞吐。△图1 MixQ吞吐与已有...……更多
跨越算力鸿沟丨星凡科技2024AI算力集群产品发布会圆满成功
...单纯的计算资源提供者,他们需要向客户提供大模型训练推理等增值服务,以减少客户在模型开发过程中的成本负担,助力客户进行人工智能转型,从而实现双赢。”超新星分布式微算力中心——AICC建设运营高性价比选择本次...……更多
百倍提升7B模型推理能力!颜水成团队携手新加坡南洋理工大学发布Q*算法
...-7b等小模型达到参数量比其大数十倍、甚至上百倍模型的推理能力,使模型性能迎来惊人提升。自OpenAI的Q*项目曝光后,业内相关讨论始终层出不穷。据现有信息汇总,Q*项目被视作OpenAI在探索人工通用智能(Artificial General Intelli...……更多
ASC24超算大赛启动会在京举行,大模型推理等成为赛题
...在上海大学举行的总决赛。据悉,今年的赛题包括大模型推理优化、渗流数值模拟,以及国际通行基准测试HPL和HPCG等。来自高性能计算和人工智能领域的中国科学院院士、中国工程院院士、专家学者及参赛师生代表等参加了启...……更多
对标o1,Kimi放出了最能打的国产模型
...历新一轮技术范式的变化,预训练 Scaling Law 放缓之后,推理时间计算成为了新的性能提升关键。两个月前,OpenAI o1 的诞生再次引领了大模型技术的突破。从后训练阶段入手,通过更多的强化学习、原生的思维链和更长的推理时...……更多
北大等发布多模态版o1!首个慢思考VLM将开源,视觉推理超闭源
...ion模型打造,超越传统思维链提示,实现自主“慢思考”推理。在多模态推理基准测试中,LLaVA-o1超越其基础模型8.9%,并在性能上超越了一众开闭源模型。新模型具体如何推理,直接上实例,比如问题是:减去所有的小亮球和紫...……更多
AMD的GPU跑AI模型终于Yes了?PK英伟达H100不带怕的
...:「算力这块,你可以用别的芯片,但是这些芯片用来做推理还 OK,做训练的话还要等几年的样子,英伟达还是处在一个垄断的地位。」但基于实证的对比研究却往往又会给出不一样的答案,比如在同一个演讲中,李沐还提到了...……更多
NVIDIA RTX显卡AI推理提速5倍!
...得更好的加速和应用。其中,TensorRT-LLM是一款用于加速LLM推理的库,可大大提升AI推理性能,还在不断更以支持越来越多的语言模型,而且它还是开源的。就在10月份,NVIDIA也发布了面向Windows平台的TensorRT-LLM,在配备RTX30/40系列GP...……更多
更多关于科技的资讯:
58岁考王继续!梁实今年将第29次高考 弃考地理改生物
3月10日消息,据国内媒体报道称,有着“考王”之称的梁实今年将第29次高考。58岁的梁实在接受记者采访时透露,他正全力备考人生第29次高考
2025-03-10 08:17:00
董明珠再回应董明珠健康家争议:想以个人名誉作保
快科技3月10日消息,据报道,珠海格力电器股份有限公司董事长董明珠近日就旗下多地格力专卖店更名为“董明珠健康家”一事再次回应
2025-03-10 08:17:00
河北日报讯(记者宋柏松)3月2日,秦皇岛市人民政府与科大讯飞股份有限公司签署合作协议,双方将围绕人工智能领域开展深度合作
2025-03-10 08:44:00
AI已经进化到能养猪了:可自动判断猪的咳嗽声
快科技3月10日消息,2024年被称为人工智能应用元年,随着技术的突破与应用场景的拓展,“AI+”将给各行业各领域注入发展驱动力
2025-03-10 08:47:00
戴上眼镜,声音实时转化成文字 无障碍AR助听眼镜4月上市近日,拱墅区召开2025年招商大会,签下37个重点项目,总金额达190亿元
2025-03-10 08:54:00
厦门网讯(厦门日报记者 袁舒琪)近日,2025工业化建筑高峰论坛在厦举办。本次论坛以“建筑工业化、软件国产化、管理平台化·促进工业互联网建筑产业平台的发展”为主题
2025-03-10 08:56:00
厦门网讯(厦门日报记者 林露虹 通讯员 管轩 王秋玲)激发数字经济创新活力,厦门火炬高新区再出实招。日前,《厦门火炬高新区关于进一步推动数字经济高质量发展的若干措施》(以下简称《措施》)修订发布
2025-03-10 08:57:00
AI+怎么“+”厦企深度求索 全速推进“AI+”战略布局
厦企科华数据立足电力电子核心技术,融合创新数字科技,提供数据中心、清洁能源综合解决方案。图为科华数据实验室。(厦门日报资料图)T4航站楼的AI数智客服为旅客提供咨询服务
2025-03-10 08:57:00
在珠宝的世界里,每一颗宝石都承载着大自然的馈赠和匠人的匠心。然而,面对琳琅满目的珠宝市场,消费者常常陷入选择的迷茫。此时
2025-03-10 09:15:00
不准加班 晚上9点强制下班!大疆冲上热搜 “反内卷”成共识
快科技3月10日消息,据国内媒体报道称,无人机龙头企业大疆的“不准加班”运动从2月27日开始,已实行一周有余。报道中提到
2025-03-10 09:17:00
造谣碰一下钱就没了!官方通报3人为吸粉编出手机NFC隔空盗刷
快科技3月10日消息,今日,“公安部网安局”公众号公布“公布10起涉民生等领域谣言案件”,吴某课等人编造传播“手机nfc被隔空盗刷”谣言案在内
2025-03-10 09:17:00
惠山首家!医疗机构接入DeepSeek,无锡移动技术赋能智慧医疗升级
近日,无锡市第二老年病医院(惠山区第二人民医院)成功部署并正式应用DeepSeek医疗文书信息检索与质控管理系统(以下简称DeepSeek系统)
2025-03-10 09:39:00
上海三思捐赠智能灯具守护老人健康 科技之光点亮浦东养护院温情
上海三思电子工程有限公司向浦东新区民乐养护院捐赠的23套灯具,于1月17日完成首批安装,2月下旬完成了第二批的安装。捐赠的灯具包含护眼吸顶灯
2025-03-10 09:45:00
民企携手破圈!宇树机器人、机器狗亮相李佳琦直播间
文|罗曾3月7日晚,李佳琦直播间迎来两位特别“嘉宾”——宇树科技G1人形机器人和Go2机器狗,直播中,机器狗不仅展示了多个高难度动作
2025-03-10 09:45:00
第一批小米SU7 Ultra已有车标被扣!24K金达盗窃量刑标准
快科技3月10日消息,3月初,小米汽车举行小米SU7 Ultra首车交付仪式,交付工作在全国陆续开启。日前,有网友在街头偶遇一辆黄色小米SU7 Ultra
2025-03-10 09:47:00