• 我的订阅
  • 头条热搜
GPU训Llama 3.1疯狂崩溃,竟有大厂用CPU服务器跑千亿参数大模型?
【新智元导读】是时候用CPU通用服务器跑千亿参数大模型了!马斯克19天建成由10万块H100串联的世界最大超算,已全力投入Grok 3的训练中。与此同时,外媒爆料称,OpenAI和微软联手打造的下一个超算集群,将由10万块GB200组成。...……更多
AI大厂硬刚价格战,中小模型夹缝求生存
...资源和成本也越相应增加。而承载超大参数量的背后则是服务器数量。据安信证券测算,目前ChatGPT每天所需的算力约50EFLOPs,所需服务器约1万台,若ChatGPT的用户量继续保持上涨,假设到24年底用户数量为5亿,则需要23万台服务...……更多
微软紧随英伟达发布芯片,老黄还不慌吗?
...大在于,建立了完整的自研芯片产业链,形成网络芯片、服务器芯片、AI芯片三条产品线。在AI芯片领域,亚马逊的自研产品就通用计算芯片、机器学习训练芯片、学习推理芯片等。满打满算,从2013年推出首款自研芯片Nitro1以来...……更多
大模型应用疯狂加速,洗牌却在静悄悄进行了
...让腾讯具备了更强的“全局优化”能力。从自研的星星海服务器,到新一代HCC高性能计算集群,再到自研的星脉高速网络,腾讯已经为自己打造了一整套面向AIGC的高性能智算网络。据腾讯内部负责人介绍,目前腾讯云已经可支...……更多
国产GPU万卡集群终于来了!摩尔线程CEO张建中:做难而正确的事
...首先有自研全功能GPU,基于GPU做出计算加速卡,再组建成服务器,放进超融合一体机,然后将这样的4台机器整合到一个机柜里,形成一个小集群,小集群连成大集群,大集群的线性加速比高于91%。有了这样一个灵活组合的集群...……更多
ChatGPT走红背后:苦熬五年,三次AI路线迭代|行业观察
...要几百甚至几千张GPU卡的算力。这意味着在算力之外,当服务器节点众多,跨服务器通信需求大,网络带宽性能亦成为GPU集群瓶颈,高性能计算网络也随之成为一个话题。具体的数字更具说服力。有报道指出,Stability AI此前仅计...……更多
没有这些,别妄谈做 ChatGPT 了
...络经常需要几百 G 以上的 RDMA 带宽连接,而不是常见的云服务器几 G 到几十 G 的带宽。对于高可用并没有很强的要求,因为本身很多离线计算的任务,不涉及到容灾等问题。没有过度复杂的调度和机器级别的容灾。因为机器本身...……更多
ChatGPT中国变形记|深氪
...“清爽”。他以云服务做类比,在美国,可以直接按租用服务器收费,其他都不用管,正如ChatGPT可以直接按调用次数收费。但在中国,面对大企业和政府,技术公司得做全套服务、甚至是定制开发。这项技术与大用户产品结合...……更多
大模型厂商急寻PlanB:英伟达改良版芯片已调试 华为等国产算力供应不足
...,英伟达面向中国市场的改良版——HGX H20已与国内头部服务器厂商在进行适配测试,由于具体的性能差异和优化程度挂钩,目前还很难对其与高配版H800做性能对比,但是,预估HGX H20的8卡服务器仍高达百万级。英特尔则对Gaudi 2...……更多
科技云报到:云服务的中场战事,从AI应用开始
...的核心能力基本停留在IaaS层面的“计算、存储和网络”服务器相关三大件领域,对于PaaS层的云服务能力相较落后于AWS等一众海外云厂商。但实际上,云厂商的价值则是要向PaaS平台发展的。“把IaaS、PaaS以及SaaS三者的优势拿出来...……更多
存储市场“供销两旺”原厂业绩好转,AI对存储应用市场提出要求
...近日在线上对记者分析说。进入2023年,除传统手机、PC和服务器市场外,ChatGPT开启的AI大模型浪潮、汽车智能化浪潮带来更多商业机会,这些应用场景对数据存储的容量、效率、流动性和安全性等方面提出了更高的需求。面对新...……更多
英特尔预计2024年正式上市Gaudi3,用于生成式AI模型
...伴和7家云服务商基于第五代至强处理器准备好了全新的服务器和云服务。”英特尔数据中心与人工智能集团副总裁兼中国区总经理陈葆立称。自去年年底ChatGPT发布以来,大语言模型技术支持下的AIGC应用获得了极大的发展。而这...……更多
MOSS核心成员:我们低估了ChatGPT影响力
...公布的对话式大型语言模型,热情的用户涌入一度导致其服务器被挤崩。21日晚,第一财经连麦学界、法律界大V,共同探讨了ChatGPT的应用、误读以及其牵涉的法律风险和商业伦理问题。复旦大学计算机科学技术学院教授张奇参...……更多
Sora这就落伍了?Meta“最强视频模型”不用DiT,用Llama大力出奇迹了
...行功率为 700W TDP,配备 80GB HBM3,采用 Meta 的 Grand Teton AI 服务器平台Baumgartner 和 Bowman,2022。在一台服务器内,有八个 GPU 通过 NVSwitch 进行均匀连接。服务器之间的 GPU 则通过 400Gbps RoCE R……更多
推理性能飙升1.5倍!微软疯狂下单GB200芯片提升其AI算力
...展其AI计算能力。根据NVIDIA官方给出的数据,新一代GB200服务器系统在Llama 3.1 700亿参数大模型上的AI推理性能对比H200提高了足足1.5倍。此外,微软还计划在低温数据中心部署GB200服务器,以缓解冷却系统的潜在压力。其他云服务...……更多
算力逻辑修复!各大厂商接入DS催化港股AI基建概念 李彦宏称仍应持续投入
...地部署,还是云端接入使用DeepSeek,都需要一定的算力和服务器资源提供硬件支持。在阿联酋迪拜举办的World Governments Summit 2025峰会上,百度创始人李彦宏提及DeepSeek时也强调称,尽管技术进步、成本降低,但仍需对芯片、数据中...……更多
AI服务器缺货真相调查:两天涨价30万,连“味精大王”都入场了
几乎是一夜之间,AI服务器价格在国内市场中飙升。智东西从一位服务器渠道销售人员处得知,搭载英伟达A800 GPU的热门AI服务器型号的价格已达140~150万元/台,比今年6月上涨超40%;搭载8颗英伟达H800 GPU的AI服务器价格上涨则更离...……更多
前商汤通用模型负责人打造3D大模型「Tripo」,3D生成迈入「秒级」时代 | 早期项目
...战,实现通用且可扩展的解决方案。这对算法、数据量、服务器等有很高的要求一一不过这恰恰也是VAST团队的核心优势。VAST这一思路提高了生成模型的成功率和效率。目前,已经实现8秒钟生成带纹理3D网格模型,可以进入传统...……更多
阿里云挥出“三板斧”:免费也要挣到钱
...下来的模型“放置”在任何一个云厂商平台上,通过虚拟服务器跑起来。上述人士介绍,在第二种形式中,阿里云构建了百炼平台、灵积(DashScope)平台等,为用户提供模型训练、推理等所需的算力服务。这些平台不仅支持阿里...……更多
联想与英伟达联合发布全新液冷AI服务器:可实现万亿参数AI模型
...联想混合式AI全面优势集,推出ThinkSystem SC777 V4 Neptune,该服务器利用新的ThinkSystem N1380 Neptune,号称在紧凑的设计中实现万亿参数的AI模型。ThinkSystem N1380 Neptune垂直液冷机箱专为行业标准19英寸机架而设计,可……更多
英伟达特供芯片卖不动了?黄仁勋穿上东北花袄“示好”,中国大厂难掩AI野心
...囤货,大批量购买A800、H800等英伟达芯片,目前已部署的服务器总量尚能支撑市场需求,故而对“减量不减价”的H20兴致缺缺。而前人工智能NLP企业首席科学家、千芯科技董事长陈巍进一步向时代财经记者透露,国内交易市场中...……更多
GPT-4撞上文心一言,百度压力骤增:多模态和中文能力受关注,或多种方式落地
...言顺利上线,百度阳泉智算中心专门为其搭建了GPU集成的服务器中心,该地运维人员也在紧急进行压力测试。据了解,百度阳泉智算中心采用的也是英伟达芯片,而百度也在推动芯片研发,其量产的7纳米昆仑芯2代在FP16精度下达...……更多
有了它,断网也能“纵享丝滑”
...网络,如果网络不稳定,信号覆盖不到或者信号质量差,服务器处理能力不行的情况下,它的识别会非常不稳定。其次就是云端无法保证用户的隐私安全,存在泄漏风险。再就是云端的运行成本非常高,因为它要搭建,涉及到搭...……更多
00后华裔小哥哈佛辍学组团挑战英伟达,史上最快AI芯片Sohu推理性能超H100二十倍!
... ASIC。通过专门化,Sohu获得了前所未有的性能。一台8xSohu服务器每秒可以处理超过50万个Llama 70B token,等效于160块H100 GPU。Sohu仅支持Transformer推理,并支持当今所有的模型(Google、Meta、Microsoft、OpenAI、Anth……更多
AI手机没有独家大模型供应商
...是一项长期消耗成本、且暂时还无法停下的趋势,无论是服务器消耗的电力、相关研发等都需要持续的投入。算法交易公司Deep Trading就曾指出,ChatGPT4以1.8亿用户基数和每人100Ktoken/天计算,每日成本就高达88.2万美元。此前vivo副...……更多
联想发布DeepSeek一体机解决方案:支持千亿参数大模型训练
...布基于DeepSeek大模型的一体机解决方案。该方案以“联想服务器/工作站+沐曦训推一体GPU+自主算法”为核心架构,配合联想AI force智能体开发平台,推出智能体一体机与训推一体服务器双产品形态,率先实现从千亿参数大模型训...……更多
够21万人喝一辈子的水 还不够谷歌服务器用7个月
...水?今天就来跟大家聊聊,那些互联网巨头们都是怎么给服务器散热的。有什么办法,能把杭州西湖的水给用完?这是杭州西湖,三面环山,面积约6.39平方千米,南北长约3.2千米,东西宽约2.8千米,水体容量约为1429万立方米。...……更多
大模型价格战“卷”向何方?|深度
...掀起了“降价潮”,阿里、百度、腾讯等纷纷加入战团。大厂“钱多、卡多、算力足”无惧价格战,以惯有的免费模式先聚集用户与开发者。中小大模型创业公司普遍还在勒紧腰带苦苦打造爆款应用,也不得不匆忙接招。大模型...……更多
大厂抢做ChatGPT,百度能否狂飙?
...这方面有许多优势。比如在算力方面,做搜索的公司都有服务器集群。在数据积累和自然语言处理方面,搜索引擎本身需要每天在全网爬取所有的网页,而人类真正积累的知识库就存在在这些网页里;同时搜索本身就需要做大量...……更多
AI时代不甘落后:英特尔全新软硬件平台助力企业加速创新
...外机架密度也是上代的2.7倍。英特尔称72个机架的新一代服务器就能完成过去200个机架服务器的工作量,差不多节省了1兆瓦的功率,能够满足1300个家庭的能源需求。 在边缘计算上,英特尔AI硬件也同样给力,预计到2030年,边缘...……更多
更多关于科技的资讯:
南京新型生产要素丰裕度不断提升,助力新质生产力持续迸发□南京日报/紫金山新闻记者徐宁土地、劳动、资本被称为生产三要素。随着科技进步和生产方式变革
2025-02-22 10:21:00
南京发布DeepSeek应急管理政务大模型
南京“宁安晴” 安全守护“宁”南报网讯(记者王国俊通讯员李鸿雁)2月21日,南京市应急管理局、市数据局与擎天科技联合发布全国首个垂直领域应急管理政务大模型——“宁安晴”
2025-02-22 10:22:00
景曜科技总部基地项目开工即冲刺□南京日报/紫金山新闻记者 孙秉印通讯员麒轩塔吊林立、机器轰鸣。19日,位于麒麟科创园的景曜科技智能机器人总部基地项目现场
2025-02-22 10:22:00
别再担心了!微软高管也吐槽AI:太累了 根本学不过来
快科技2月22日消息,近日,亚布力中国企业家论坛第25届年会于2025年2月21日至23日成功召开。微软(中国)有限公司首席技术官韦青受邀出席开幕式并发表了精彩演讲
2025-02-22 10:30:00
《黑豹2》黑人女王演员:我值得拿奥斯卡金像奖
GamesRadar+报道,安吉拉·巴塞特 (Angela Bassett) 谈到她在2023年失去奥斯卡奖的情况,并表示她认为自己在《黑豹2》中的表现值得获得奥斯卡金像奖
2025-02-22 10:30:00
说的是心里话!有500强公司董事长直言:Deepseek写的诗很油腻 是大路货
快科技2月22日消息,近日,亚布力中国企业家论坛第25届年会在万众瞩目中顺利召开。本次年会汇聚了众多行业领袖与企业家,共同探讨了中国经济发展的现状与未来趋势
2025-02-22 11:00:00
发布会上频频被对比 奔驰高管:不排斥不畏惧 但会严正交涉错误对标
快科技2月22日消息,近些年来国产新能源迅猛发展,有很多都在冲高端,而这自然也会对传统的BBA等老牌豪华汽车产生了冲击
2025-02-22 11:00:00
AI硅胶娃娃”不是噱头!专家:好看皮囊和有趣灵魂可同时具
快科技2月22日消息,人工智能的浪潮已经轰轰烈烈的展开,企业要么努力去拥抱、接受它,要么被淘汰。AI人工智能可以赋予的行业和赛道越来越广
2025-02-22 11:00:00
2025年结婚最理想的彩礼金额,这个数丨年轻人谈婚论嫁报告
爱情是一种复杂的情感需求,人类在亲密关系中寻求认同、对抗无聊,渴望在这个世界上建立起一种具有排他性的情感共同体
2025-02-22 11:08:00
河北新闻网讯(王思思)2月20日,深泽县医共体集团召开2025年慢病健康管理信息系统使用工作培训会。培训会上,业务人员针对系统操作进行了详细讲解
2025-02-22 11:24:00
最后一个月机会!华为8.8折升级手机内存下月底结束:342元起
快科技2月22日消息,据华为官方介绍,华为8.8折升级手机内存(官方解释为存储内存,实际就是存储空间)服务将于3月31日结束
2025-02-22 11:30:00
中国科学院院士白春礼呼吁:科技创新需要耐心资本的投入
快科技2月22日消息,近日,“亚布力中国企业家论坛第25届年会”盛大召开,中国科学院院士白春礼受邀出席并发表演讲。白春礼院士在演讲中指出
2025-02-22 11:30:00
闭店潮来袭,奶茶行业内卷加剧迎来“生死劫”
齐鲁晚报·齐鲁壹点 张召旭 实习生 白杨奶茶店,曾是街头巷尾的热门打卡地,每隔几步就能见到一家,排队的长龙构成了城市的一道独特风景线
2025-02-22 11:38:00
美得理联袂五位电子鼓合作艺术家,共建音乐生态圈
近日,国内知名乐器品牌美得理正式签约五位杰出的鼓圈艺术家冯军、余伟民、大梁、仲夏、李宝为“MEDELI品牌电子鼓合作艺术家”
2025-02-22 11:43:00
俄罗斯禁售一款中国车
快科技2月22日消息,综合俄罗斯以及国内媒体报道,本月早些时候,俄罗斯技术法规和计量局宣布正式撤销中国陕汽SX3258型卡车的车辆型式认证(VTA)
2025-02-22 08:00:00