• 我的订阅
  • 头条热搜
GPU训Llama 3.1疯狂崩溃,竟有大厂用CPU服务器跑千亿参数大模型?
【新智元导读】是时候用CPU通用服务器跑千亿参数大模型了!马斯克19天建成由10万块H100串联的世界最大超算,已全力投入Grok 3的训练中。与此同时,外媒爆料称,OpenAI和微软联手打造的下一个超算集群,将由10万块GB200组成。...……更多
苹果日砸百万,豪赌2000亿参数Apple GPT!疯狂挖角谷歌,打造核弹级iPhone
...能的实现上,也更倾向于在设备上离线运行,而不是在云服务器上。据知情人士透露,「Apple GPT」的参数量已经超过了2000亿个。想要运行如此庞大的模型,不仅需要强大的算力,还需要足够的储存空间。显然,这些要求对于一...……更多
大厂混战AI大模型,云计算谁最行?
...算机性能、能耗、吞吐和延迟等方面要求较高,传统通用服务器的负载能力有限,无法承受高负载的人工智能应用,需要更适合深度学习训练场景的AI服务器方可完成。随着后续算力的持续增长,自然语言处理和图像、视频等AI...……更多
AI大厂硬刚价格战,中小模型夹缝求生存
...资源和成本也越相应增加。而承载超大参数量的背后则是服务器数量。据安信证券测算,目前ChatGPT每天所需的算力约50EFLOPs,所需服务器约1万台,若ChatGPT的用户量继续保持上涨,假设到24年底用户数量为5亿,则需要23万台服务...……更多
GPU缺口45万片?中国大模型产业链有新动向
...有些焦虑,一些与会者见面时的问候语变成了“你家的GPU服务器到货了没有?”今年上半年,全球新发布的大模型约有400个;截至7月,中国发布的10亿参数以上的大模型有79个。Gartner在其最新2023年新兴技术成熟度曲线,将生成...……更多
微软紧随英伟达发布芯片,老黄还不慌吗?
...大在于,建立了完整的自研芯片产业链,形成网络芯片、服务器芯片、AI芯片三条产品线。在AI芯片领域,亚马逊的自研产品就通用计算芯片、机器学习训练芯片、学习推理芯片等。满打满算,从2013年推出首款自研芯片Nitro1以来...……更多
重复造轮子的百模大战:两极热 中间空
...超过了100万倍。一位商汤员工表示,商汤上海临港AIDC的服务器机柜设计功耗10千瓦~25千瓦,最大可同时容纳4台左右英伟达A100服务器,但普通的服务器机柜普遍设计功耗以5千瓦居多,而单台A100服务器的功耗即高达4.5千瓦左右。...……更多
大模型应用疯狂加速,洗牌却在静悄悄进行了
...让腾讯具备了更强的“全局优化”能力。从自研的星星海服务器,到新一代HCC高性能计算集群,再到自研的星脉高速网络,腾讯已经为自己打造了一整套面向AIGC的高性能智算网络。据腾讯内部负责人介绍,目前腾讯云已经可支...……更多
国产GPU万卡集群终于来了!摩尔线程CEO张建中:做难而正确的事
...首先有自研全功能GPU,基于GPU做出计算加速卡,再组建成服务器,放进超融合一体机,然后将这样的4台机器整合到一个机柜里,形成一个小集群,小集群连成大集群,大集群的线性加速比高于91%。有了这样一个灵活组合的集群...……更多
围剿ChatGPT
...力发展不是一个新鲜的话题,但随着ChatGPT的崛起,基于服务器芯片的 AI 算力需求愈加强烈,在外界高需求、高关注、高压力之下,现有的服务器瞬时算力很难支撑高达千亿参数的大模型推理训练,大模型已经遭遇算力瓶颈。4月...……更多
ChatGPT走红背后:苦熬五年,三次AI路线迭代|行业观察
...要几百甚至几千张GPU卡的算力。这意味着在算力之外,当服务器节点众多,跨服务器通信需求大,网络带宽性能亦成为GPU集群瓶颈,高性能计算网络也随之成为一个话题。具体的数字更具说服力。有报道指出,Stability AI此前仅计...……更多
没有这些,别妄谈做 ChatGPT 了
...络经常需要几百 G 以上的 RDMA 带宽连接,而不是常见的云服务器几 G 到几十 G 的带宽。对于高可用并没有很强的要求,因为本身很多离线计算的任务,不涉及到容灾等问题。没有过度复杂的调度和机器级别的容灾。因为机器本身...……更多
ChatGPT中国变形记|深氪
...“清爽”。他以云服务做类比,在美国,可以直接按租用服务器收费,其他都不用管,正如ChatGPT可以直接按调用次数收费。但在中国,面对大企业和政府,技术公司得做全套服务、甚至是定制开发。这项技术与大用户产品结合...……更多
...成式 AI 打造的下一代 GH200 Grace Hopper 平台,并推出了 OVX 服务器、AI Workbench 等一系列重磅更新。黄任勋又宣布 Grace Hopper 超级芯片将配备 HBM3e 高带宽内存(HBM3e 比当前的 HBM3 快 50%),下一代 GH200 Grac……更多
怀胎半年“混元”初开,腾讯大模型以慢为快 | 焦点分析
...,面向开发者提供服务。 “我们从最底层的高速网络、服务器、网卡,到平台、模型、算法,都是自研的,这让后续迭代过程加快了。”蒋杰表示。大厂做大模型,如今自研技术栈已经是标配。从百度、阿里、华为到腾讯,各...……更多
训练一次ChatGPT,“折寿”3000辆特斯拉
...降本增效已迫在眉睫。如果大模型普及,全球飞速运转的服务器,怕不会把地球烧了。既然大模型训练的成本中,电费占主要部分,那么究竟是哪些环节在耗电?又能如何优化?大模型是“电老虎”OpenAI曾在其《AIandCompute》分析...……更多
大模型厂商急寻PlanB:英伟达改良版芯片已调试 华为等国产算力供应不足
...,英伟达面向中国市场的改良版——HGX H20已与国内头部服务器厂商在进行适配测试,由于具体的性能差异和优化程度挂钩,目前还很难对其与高配版H800做性能对比,但是,预估HGX H20的8卡服务器仍高达百万级。英特尔则对Gaudi 2...……更多
亏了13年的阿里云刚赚钱,怎么就被逼着五折大促销了?
...的需要,自建云都是一条 “ 不归路 ” 。 一旦你用上云服务器,新的问题就出现了。云计算的需求是由 “ 最高峰时的算力需要 ” 决定的,这就是所谓的弹性。但在平时,企业用到的算力可能是峰值的 1/3 甚至更少。这你不能...……更多
AI大算力芯片行业报告:百舸争流,创新者先
...大约有600个超大规模的数据中心,每个都拥有超过5000台服务器,其中约39%在美国,是中国的4倍,而中国、日本、英国、德国和澳大利亚的服务器数量总和约占总数的30%。截至2021年底,我国在用数据中心机架总规模达 520 万标...……更多
算力隐伤
...让“算力更普惠”的智算平台,硬件厂商则乘势加快了AI服务器、AI芯片、存储的国产替代进程。算力突围战,再次打响。01、奇点之路,算力为基在2023财年Q1财报会上,扎克伯格称“生成式AI将触及Meta所有产品”,这已是全球第...……更多
科技云报到:云服务的中场战事,从AI应用开始
...的核心能力基本停留在IaaS层面的“计算、存储和网络”服务器相关三大件领域,对于PaaS层的云服务能力相较落后于AWS等一众海外云厂商。但实际上,云厂商的价值则是要向PaaS平台发展的。“把IaaS、PaaS以及SaaS三者的优势拿出来...……更多
逐浪大模型,国产GPU的机遇和挑战 | 钛媒体深度
...错配”。“从2015年到现在,AMD实际看重的是CPU市场,其服务器CPU的市场份额也从最初百分之十几,上升到现在的40%。”石浩表示,但是随着半导体先进制程一路从28纳米走向12纳米,再到3纳米,工艺的升级就带来了计算成本急剧...……更多
存储市场“供销两旺”原厂业绩好转,AI对存储应用市场提出要求
...近日在线上对记者分析说。进入2023年,除传统手机、PC和服务器市场外,ChatGPT开启的AI大模型浪潮、汽车智能化浪潮带来更多商业机会,这些应用场景对数据存储的容量、效率、流动性和安全性等方面提出了更高的需求。面对新...……更多
腾讯云来迟 云市场大乱斗
...有云市场,还是坚持自研的技术路线,从底层技术上发布服务器芯片和云服务器乃至智能云操作系统,都显示出华为在云生态建设上的硬实力。 华为云正在以超过200%的增速发展,可以提出设想,华为云超越阿里云还有多远?阿...……更多
...我们使用一些内存优化的方案,将模型参数和梯度存储在服务器的磁盘内存中,这种情况下训练速度也会非常慢。让我们来举一个简单的例子,暂时不考虑GPT-3.5,假设我们使用一个非常小的模型,只有2000万个参数,这是一个非...……更多
英特尔预计2024年正式上市Gaudi3,用于生成式AI模型
...伴和7家云服务商基于第五代至强处理器准备好了全新的服务器和云服务。”英特尔数据中心与人工智能集团副总裁兼中国区总经理陈葆立称。自去年年底ChatGPT发布以来,大语言模型技术支持下的AIGC应用获得了极大的发展。而这...……更多
MOSS核心成员:我们低估了ChatGPT影响力
...公布的对话式大型语言模型,热情的用户涌入一度导致其服务器被挤崩。21日晚,第一财经连麦学界、法律界大V,共同探讨了ChatGPT的应用、误读以及其牵涉的法律风险和商业伦理问题。复旦大学计算机科学技术学院教授张奇参...……更多
Sora这就落伍了?Meta“最强视频模型”不用DiT,用Llama大力出奇迹了
...行功率为 700W TDP,配备 80GB HBM3,采用 Meta 的 Grand Teton AI 服务器平台Baumgartner 和 Bowman,2022。在一台服务器内,有八个 GPU 通过 NVSwitch 进行均匀连接。服务器之间的 GPU 则通过 400Gbps RoCE R……更多
推理性能飙升1.5倍!微软疯狂下单GB200芯片提升其AI算力
...展其AI计算能力。根据NVIDIA官方给出的数据,新一代GB200服务器系统在Llama 3.1 700亿参数大模型上的AI推理性能对比H200提高了足足1.5倍。此外,微软还计划在低温数据中心部署GB200服务器,以缓解冷却系统的潜在压力。其他云服务...……更多
大模型激战:能否再造20年前互联网盛景
...月ChatGPT对相关概念股股价的拉动,芯片、光模块、PCB、服务器年初至今已各涨65%、146%、45%、62%。巨头混战大模型,能不能开启下一轮技术革命的热潮?谁究竟能脱颖而出?02别低估了大模型的门槛今年2月份ChatGPT-4问世后...……更多
更多关于科技的资讯:
“你好,顺丰快递,来送‘国补’数码产品。”10月21日,市民陈洁收到了网购的手机。这款手机享受“国补”和以旧换新后,比市场价便宜了不少
2025-10-24 08:05:00
集美加快布局新能源商用车赛道
“集链聚能 智驭未来”——2025厦门新能源商用车产业“四链融合”对接会吸引资源对接。(本组图/集美区 提供)企业展示的各类新能源商用车
2025-10-24 08:58:00
第三届“苏颂杯”未来产业技术创新赛圆满收官
大赛组委会为一等奖项目颁奖。台下,选手们仔细聆听台上评委点评。 海外嘉宾发来视频点评本届“苏颂杯”大赛。(本组图/市科技局 提供)厦门网讯(厦门日报记者 李晓平 通讯员 庄佩贞)经过激烈角逐
2025-10-24 08:58:00
珍爱网受邀参与“清朗网络守护者”启动大会 筑牢网络安全坚实屏障
在数字化快速发展的今天,网络安全已成为国家安全的重要组成部分。近日,由政府相关部门指导,深圳广播电影电视集团主办的以“聚焦网络空间治理 护航社会高质量发展”为主题的“清朗网络守护者”启动大会在深圳正式举行
2025-10-24 08:59:00
90 载科学传承:GNC 以城市环游诠释运动营养真谛
以骑行运动为突破口,GNC加速深耕中国运动健康市场2025年10月23日,首届环贵州公园省国际公路自行车赛圆满落幕。GNC健安喜作为铂金赞助商及官方唯一指定营养补充剂品牌
2025-10-24 08:59:00
“微米”社交APP以线下实名社交破局
近日,一款名为“微米(WEMET)”的创新型社交应用正式面世,其以“地图社交+线下实体联动”为核心模式,围绕“真实、附近
2025-10-24 08:59:00
全国首例!吉大中日联谊医院成功植入超百通道侵入式柔性脑机接口
10月22日,记者从吉林大学中日联谊医院获悉,神经外科高宇飞、张金男团队与北京智冉医疗科技有限公司联手,在全国率先成功完成首例超百通道侵入式柔性脑机接口的临床植入手术
2025-10-24 11:08:00
客如云AI碰碰贴“商业增长引擎”,让营销触手可及
在数字经济深度融入实体经济的当下,实体门店正面临“营销落地难、用户互动低效、场景覆盖有限”的共性挑战——传统推广依赖人工操作与分散物料
2025-10-24 11:20:00
继感知位置后!海尔空调将发布可感知呼吸的新品,可自适应送风
曾经,手动调节、躲避直吹是使用空调时的日常烦恼;如今,随着“主动感知”成为可能,空调正变得真正“懂你”。继10月21日首发可感知人体位置的海尔麦浪舒适风空调后
2025-10-24 11:22:00
“今天查,明天做”ICL晶体云柜正式落户福州普瑞眼科 高清视界无需等待
廿载耕耘,瞩目焕新!在普瑞眼科成立20周年之际,福州普瑞眼科迎来又一重大技术升级——正式启用EVOICL官方授权“云柜系统”
2025-10-24 11:29:00
厦门新能源商用车应用场景清单发布东南网10月24日讯(海峡导报记者 康泽辉)厦门市新能源商用车应用场景清单发布,聚焦5类道路场景43个应用场景项目
2025-10-24 11:30:00
全球首个百亿级人类基因组基础模型Genos发布!
在生命科学的前沿探索中,我们早已能高效“读出”生命的序列,但如何从30亿碱基对中“读懂”生命奥秘,长期以来都是一项巨大挑战
2025-10-24 13:21:00
鲁网10月24日讯作为支撑信息通信网络稳定运行的“核心枢纽”,通信机房承载着海量高功耗数据设备,其温度精准控制直接关系到网络畅通与服务质量
2025-10-24 13:47:00
鲁网10月24日讯近日,东平农商银行向东平县百通电子商务有限公司发放400万元创业担保贷款,为企业扩大经营规模、优化供应链提供强有力的金融支持
2025-10-24 13:48:00
鲁网10月24日讯东平农商银行始终以客户需求为导向,创新构建“三快”服务体系。通过深化协同服务、优化业务流程、强化跟踪保障
2025-10-24 13:49:00