• 我的订阅
  • 头条热搜
苹果发布 OpenELM,基于开源训练和推理框架的高效语言模型
...,苹果在 Hugging Face 平台上发布了一个“具有开源训练和推理框架的高效语言模型”,名为 OpenELM。当然,这是一项开源语言模型,其源码及预训练的模型权重和训练配方可在苹果 Github 库中获取。IT之家将官方简介翻译如下:参...……更多
收入占比40%、电话会议点名16次,英伟达:推理端的需求被低估了
...让人印象深刻的是,英伟达在财报电话会议的一个观点:推理端的爆发,可能很多人还是低估了。据英伟达电话会议披露,公司全年数据中心里已经有40%的收入来自推理业务,超出了绝大部分人预期。而在这次财报电话会议里,...……更多
Transformer推理天花板被谷歌打破?DeepMind首席科学家亮出84页PPT,却遭LeCun反对
...科学家Denny Zhou拿出一篇ICLR 2024论文称:CoT可以让Transformer推理无极限。但随即他就遭到了田渊栋和LeCun等的质疑。最终,CoT会是通往AGI的正确路径吗?随着OpenAI o1的爆火,最近CoT也成了圈内热议的高频词。靠着CoT的强力加持,o1...……更多
清华开源混合精度推理系统MixQ:大模型近无损量化并提升推理吞吐
一键部署LLM混合精度推理,端到端吞吐比AWQ最大提升6倍!清华大学计算机系PACMAN实验室发布开源混合精度推理系统——MixQ。MixQ支持8比特和4比特混合精度推理,可实现近无损的量化部署并提升推理的吞吐。△图1 MixQ吞吐与已有...……更多
英特尔推最新AI处理器,挑战英伟达:训练主导地位不会持久
...作伙伴生态系统一起,有助于英特尔提供计算领域最好的下一代技术。”据介绍,酷睿Ultra无法在没有连接互联网的情况下提供运行ChatGPT这类聊天机器人所需的功率,但可以处理较小的任务,如生成Zoom的背景模糊功能,并且具...……更多
算子开发到推理加速,一位00后开发者的“升级打怪”之旅
...框架降低了大模型训练的门槛,目前正在做大模型分布式推理加速,希望可以帮助其他开发者在生产环境中高效部署在线推理服务。在昇腾AI的生态里,像郑辉这样为大模型浪潮默默贡献自己力量的开发者不胜枚举。他们还不是...……更多
“怪兽级”显卡发布,个人AI超级电脑亮相!黄仁勋:整个行业都在扩大AI规模
...代GeForce RTX50系列显卡、宣布公司将与丰田汽车共同开发下一代自动驾驶汽车,并推出了一些新的AI模型。RTX 5090售价1999美元,性能为RTX 4090的两倍现场照片显示,在这场备受期待的演讲开始的数小时前,观众们就已经在会场外排...……更多
DeepSeek开源惠四方(科技名家笔谈)
...与OpenAI发布ChatGPT3.5相提并论。DeepSeek以高效率、低成本的推理模型和开源的商业模式走出一条发展人工智能的新路。 坚持历史视角准确看待价值准确认识DeepSeek的价值和贡献,必须坚持历史视角,将其放在人工智能创新发展的...……更多
OpenAI新功能 “深度研究” 登场,人类终极考试的表现超过DeepSeek R1
...过专门优化,适配网页浏览和数据分析场景。它能够运用推理能力,在互联网上搜索、解读和分析海量的文本、图像和PDF文件,并能根据所遇到的信息灵活调整研究方向。 值得注意的是,在对这个智能体的能力评测中,OpenAI特...……更多
腾讯推出新一代快思考模型混元 Turbo S,将在腾讯元宝逐步灰度上线
...用的多个公开Benchmark上,腾讯混元Turbo S在知识、数学、推理等多个领域展现出对标DeepSeek-V3、GPT-4o、Claude3.5等业界领先模型的效果表现。 表格中,其他模型的评测指标来自官方评测结果,官方评测结果中不包含部分来自混元内...……更多
联发科天玑9400+拿下最强AI手机芯片:端侧推理准确率反超云端大模型
...是天玑9400的1.25倍,支持最高8B规模的DeepSeek-R1端测部署,推理准确率反超云端大模型。天玑9400+行业首发增强型推理解码技术(SpD+),推理解码能力提升20%,同时集成天玑AI智能体化引擎,可将传统A应用程序升级为更先进的智能...……更多
刚刚,Llama 3.2 来了!支持图像推理,还有可在手机上运行的版本
... Meta 对 Llama 模型来了一波大更新:不仅推出了支持图像推理任务的新一代 Llama 11B 和 90B 模型,还发布了可在边缘和移动设备上的运行的轻量级模型 Llama 3.2 1B 和 3B。不仅如此,Meta 还正式发布了 Llama Stack Distribution,其可……更多
NeurIPS 2024 | 数学推理场景下,首个分布外检测研究成果来了
本文将介绍数学推理场景下的首个分布外检测研究成果。该篇论文已被 NeurIPS 2024 接收,第一作者王一鸣是上海交通大学计算机系的二年级博士生,研究方向为语言模型生成、推理,以及可解释、可信大模型。该工作由上海交通...……更多
市值凭什么破万亿?博通讲了一个ASIC的超大叙事
...模。且第四和第五大客户也开始快速爬升。另一边,微软下一代项目给了Marvell,且承诺给的相当大。按照Marvell最近的管理层小会上的表态:微软的机会比想象中“显著”大,会成为公司最大的收入贡献。而微软在ASIC上的投入,...……更多
昆仑万维宣布开源2千亿稀疏大模型Skywork-MoE
...万维宣布开源2千亿稀疏大模型Skywork-MoE,性能强劲,同时推理成本更低。Skywork-MoE基于之前昆仑万维开源的Skywork-13B模型中间checkpoint扩展而来,是首个完整将MoE Upcycling技术应用并落地的开源千亿MoE大模型,也是首个支持用单台409...……更多
四月AI芯片三连发,英伟达:无惧竞争!
...户开放AxionCPU的使用。▲GoogleAxion此外,GoogleCloud还推出了下一代AI加速器TPUv5p。单个TPUv5pPod包含8,960个芯片,是上代TPUv4Pod的2倍以上。TPUv5p主要用于训练规模最大、要求最高的生成式AI模型。GoogleCloud不会对外直接销……更多
复旦大学漆远:DeepSeek将推理成本降至百万token仅1元人民币,加速AI普及
...诞生聊天机器人产物。如今OpenAI o1、DeepSeek模型具备的强推理能力,让AI发展走到了又一重要分水岭。而未来研究方向或在于,像杨立昆提出的‘科学世界模型’,让AI更透彻的理解物理世界。”谈及最近爆火的国产AI“黑马”Deep...……更多
20多家车企接入DeepSeek:为啥没有“蔚小理华米特”
...上叫我给他们讲讲 AI 是怎么回事。由于同时具备强大的推理能力及开源模型两个特质,导致几乎所有科技公司都在研究怎样和 DeepSeek「深度融合」一下。华为、腾讯、百度、字节等互联网巨头,尽管都有各自自研的模型,但不...……更多
百度智能云两大基础设施再升级!打造AI时代最开放的智能基础设施
...统级能力打造企业专属AI基础设施。百舸+昆仑芯超节点:推理性能提升13倍、成本降低95%算力是AI时代的“新电力”。百度智能云通过自研昆仑芯P800芯片及百舸大规模推理加速能力,实现算力性能与成本的双重突破。本次大会...……更多
“技术故障”背刺巴菲特,金融大模型到底靠不靠谱?
...市场瞬息万变,需要实时数据处理和决策支持,大模型的推理涉及到大量的矩阵乘法计算,对硬件的矩阵乘法计算能力提出较高要求,计算复杂性可能导致响应时间延迟,不利于实时应用。加之大模型训练和推理过程需要大量的...……更多
DeepSeek降本秘诀曝光:2招极致压榨推理部署,算力全留给内部AGI研究
...把整个大模型市场搅得天翻地覆!首先,它以一己之力把推理模型的价格打下来,OpenAI六月更新的o3价格相比o1直接打了2折。其次,第三方平台托管的DeepSeek模型使用量疯狂增长,比刚发布时涨了将近20倍,成就了大批云计算厂商...……更多
商汤科技sensetime推出“云端边”全栈大模型体系
...的指导下,会持续探索大模型能力的KRE三层架构(知识-推理-执行),不断突破大模型能力边界。”“日日新SenseNova5.0”性能超越GPT-4 Turbo:文理双修能力大幅提升,新增多模态交互自去年4月首次发布,商汤“日日新SenseNova”大...……更多
对话云天励飞董事长陈宁:2030年人类将实现AGI,推理芯片将是蓝海市场|钛媒体AGI
...拥有一个AI Agent。“如果说2024年是大模型落地应用之年,推理就会越来越重要。此前在训练芯片市场上,英伟达一骑绝尘,占有绝对的市场占有率,那么今天,推理芯片市场没有垄断性的巨头。这不仅是万亿级、万亿颗芯片的蓝...……更多
吴泳铭官宣3800亿投入后,阿里云如何打AI这场硬仗?
...发布新的模型,最重要的方向主要是两个,一个是Reasoning推理,一个是Omin全模态融合。”刘伟光提到。在应用方向上,这次大会,阿里云宣布推出AI Agent Store,从生成式AI向代理式AI发展,并表示将首先推动阿里旗下所有服务走...……更多
“深思熟虑”的 AI:OpenAI 提出全新安全对齐方法
...方法直接教授模型安全规范,并训练它们在生成响应之前推理这些准则进,将安全原则融入推理过程中。 整个过程分为两个阶段,第一阶段,监督微调(SFT)训练模型参考并推理安全规范,使用从基础模型生成的数据集。第二...……更多
NeurIPS 2024|水印与高效推理如何两全其美?最新理论:这做不到
... sampling)结合,在为大语言模型加入水印的同时,提升其推理效率,降低推理成本,因此适合用于大规模生产环境。这项研究发表在了 Nature 杂志上,给出了两种具体的结合方法,分别在水印检测效果和生成速度上达到了现有最...……更多
石油巨头牵手DeepSeek
...仑大模型的问答应用“行业大家”目前已新增DeepSeek深度推理能力。用户使用“行业大家”开展行业问答时,除了可以得到昆仑大模型生成的能源化工领域专业问答结果,还能自主选择切换至“深度思考”模式,体验知识推理、...……更多
...AI)系统在编码、战略规划和机器人科学三个领域执行复杂推理任务。聊天生成预训练转换器(ChatGPT)和“克劳德3-奥普斯”(Claude 3 Opus)等大语言模型(LLM),根据人类输入“提示词”处理和生成文本。研究人员说,过去18个月,这些技...……更多
o1金牌团队揭秘AI超越人类惊人时刻!22分完整版视频全公开
...共有8点:1 强化学习加持的o1,比人类更善于发现新的CoT推理步骤2 自我批评的涌现,是o1最强有力的时刻3 让o1「超时」前完成回答,然后突然有了「啊哈」时刻 4 scaling参数规模的挑战,以及继续沿着强化学习算法进步之路5 许...……更多
推理性能直逼o1,DeepSeek再次出手,重点:即将开源
...出手了,这次又是重磅炸弹。昨晚,DeepSeek 上线了全新的推理模型 DeepSeek-R1-Lite-Preview,直接冲击 OpenAI o1 保持了两个多月的大模型霸主地位。在美国数学竞赛(AMC)中难度等级最高的 AIME 以及全球顶级编程竞赛(codeforces)等权...……更多
更多关于科技的资讯:
在杭州城西科创大走廊东首的西湖区紫金港科技城云谷中心,国内最大模型开源社区“魔搭社区”的首个线下实体空间——魔搭社区(杭州)开发者中心(以下简称“开发者中心”)
2025-12-05 08:13:00
眼下,养宠群体逐渐壮大,带来的刚需消费、悦己消费持续升温、充满潜力,宠物经济迅速崛起。最近,省农业农村厅联合省发改委、省商务厅等五部门印发《关于促进宠物经济发展的意见》
2025-12-05 08:13:00
海运到货 福州车厘子上新整体售价稳步回落4日,随着海运而来的智利车厘子到达福州,福州市场上车厘子全面上新,整体售价开始稳步回落
2025-12-05 08:13:00
苏州作为全国数字经济、数字金融的先行城市,始终以敢为人先的魄力,争当保险科技应用的“试验场”与“示范区”。苏州市数字金融高质量发展大会保险科技专题活动在苏州人保财险成功举办
2025-12-05 10:56:00
近日,2025系统医学与健康大会在苏州工业园区举行,四大慢病国家科技重大专项技术总师陈竺,创新药物研发国家科技重大专项技术总师曹雪涛
2025-12-05 11:45:00
《中国电影经济发展研究报告》在海南岛国际电影节首发
孙向辉解读《报告》。中青报·中青网记者 任明超/摄中国青年报客户端讯(李争艳 中青报·中青网记者 任明超)12月4日,《中国电影经济发展研究报告》(以下简称《报告》)在海南岛国际电影节主论坛首发
2025-12-05 11:50:00
近日,由市稳外贸专班主办,苏州市分公司、供应链数字治理研究中心、苏州世标检测有限公司共同承办的“新外贸‘涨’字诀:精通美国知产合规赋能企业竞强价增”活动
2025-12-05 11:54:00
南京企业奋战四季度
进入四季度,南京企业在新品发布与订单签订上成果显著,重点产业创新动能强劲 产业是城市经济发展的基石。进入四季度以来
2025-12-05 12:11:00
AI时代“一人公司”迎来发展良机AI应用爆发前夜,中国第二经济大省江苏的“双子星”——南京、苏州抢先布局“单人成军”的OPC新形态OPC的全称是One Person Company
2025-12-05 12:11:00
潮品、文创、黑科技一站式打卡!河南品牌“秀”出多元消费新体验
大河网讯 蜜雪冰城诠释着国民饮品的亲切感,河南博物院文创产品让厚重历史走入百姓日常生活,力量钻石折射出河南制造闪耀的科技光芒……12月5日
2025-12-05 12:12:00
“智”绘康养,AI上美味!看豫企如何玩“智”变
大河网讯(记者 刘高雅 王靖/文 杨鑫阳/图)12月5日,“供给焕新程 服务跃新阶——2025河南省新服务新供给品牌建设交流活动”在商丘市举行
2025-12-05 12:12:00
为提升团队惠民保展业能力,夯实业务根基,太湖人保财险成功开展新员工惠民保专项培训,各团队主管全程参与研讨推进,以多维度培训为全体坐席赋能
2025-12-05 12:40:00
解锁服务新玩法!河南品牌靠数智、跨界跑出加速度
大河网讯(记者 刘高雅 王靖/文 杨鑫阳/图)12月5日,“供给焕新程 服务跃新阶——2025河南省新服务新供给品牌建设交流活动”在商丘市举行
2025-12-05 13:13:00
文创爆品、网红奶茶齐出圈,河南新品牌如何撑起新供给?
大河网讯(记者 刘高雅 王靖/文 杨鑫阳/图)12月5日,“供给焕新程 服务跃新阶——2025河南省新服务新供给品牌建设交流活动”在商丘市举行
2025-12-05 13:13:00
在当前全球化格局深度调整与数字技术革命交汇的时代背景下,研究生国际联合培养模式的数字化转型,已成为国家教育战略的核心关切
2025-12-05 13:18:00