• 我的订阅
  • 头条热搜
GPU训Llama 3.1疯狂崩溃,竟有大厂用CPU服务器跑千亿参数大模型?
【新智元导读】是时候用CPU通用服务器跑千亿参数大模型了!马斯克19天建成由10万块H100串联的世界最大超算,已全力投入Grok 3的训练中。与此同时,外媒爆料称,OpenAI和微软联手打造的下一个超算集群,将由10万块GB200组成。...……更多
大厂混战AI大模型,云计算谁最行?
...算机性能、能耗、吞吐和延迟等方面要求较高,传统通用服务器的负载能力有限,无法承受高负载的人工智能应用,需要更适合深度学习训练场景的AI服务器方可完成。随着后续算力的持续增长,自然语言处理和图像、视频等AI...……更多
AI大厂硬刚价格战,中小模型夹缝求生存
...资源和成本也越相应增加。而承载超大参数量的背后则是服务器数量。据安信证券测算,目前ChatGPT每天所需的算力约50EFLOPs,所需服务器约1万台,若ChatGPT的用户量继续保持上涨,假设到24年底用户数量为5亿,则需要23万台服务...……更多
重复造轮子的百模大战:两极热 中间空
...超过了100万倍。一位商汤员工表示,商汤上海临港AIDC的服务器机柜设计功耗10千瓦~25千瓦,最大可同时容纳4台左右英伟达A100服务器,但普通的服务器机柜普遍设计功耗以5千瓦居多,而单台A100服务器的功耗即高达4.5千瓦左右。...……更多
微软紧随英伟达发布芯片,老黄还不慌吗?
...大在于,建立了完整的自研芯片产业链,形成网络芯片、服务器芯片、AI芯片三条产品线。在AI芯片领域,亚马逊的自研产品就通用计算芯片、机器学习训练芯片、学习推理芯片等。满打满算,从2013年推出首款自研芯片Nitro1以来...……更多
大模型应用疯狂加速,洗牌却在静悄悄进行了
...让腾讯具备了更强的“全局优化”能力。从自研的星星海服务器,到新一代HCC高性能计算集群,再到自研的星脉高速网络,腾讯已经为自己打造了一整套面向AIGC的高性能智算网络。据腾讯内部负责人介绍,目前腾讯云已经可支...……更多
国产GPU万卡集群终于来了!摩尔线程CEO张建中:做难而正确的事
...首先有自研全功能GPU,基于GPU做出计算加速卡,再组建成服务器,放进超融合一体机,然后将这样的4台机器整合到一个机柜里,形成一个小集群,小集群连成大集群,大集群的线性加速比高于91%。有了这样一个灵活组合的集群...……更多
围剿ChatGPT
...力发展不是一个新鲜的话题,但随着ChatGPT的崛起,基于服务器芯片的 AI 算力需求愈加强烈,在外界高需求、高关注、高压力之下,现有的服务器瞬时算力很难支撑高达千亿参数的大模型推理训练,大模型已经遭遇算力瓶颈。4月...……更多
ChatGPT走红背后:苦熬五年,三次AI路线迭代|行业观察
...要几百甚至几千张GPU卡的算力。这意味着在算力之外,当服务器节点众多,跨服务器通信需求大,网络带宽性能亦成为GPU集群瓶颈,高性能计算网络也随之成为一个话题。具体的数字更具说服力。有报道指出,Stability AI此前仅计...……更多
ChatGPT中国变形记|深氪
...“清爽”。他以云服务做类比,在美国,可以直接按租用服务器收费,其他都不用管,正如ChatGPT可以直接按调用次数收费。但在中国,面对大企业和政府,技术公司得做全套服务、甚至是定制开发。这项技术与大用户产品结合...……更多
没有这些,别妄谈做 ChatGPT 了
...络经常需要几百 G 以上的 RDMA 带宽连接,而不是常见的云服务器几 G 到几十 G 的带宽。对于高可用并没有很强的要求,因为本身很多离线计算的任务,不涉及到容灾等问题。没有过度复杂的调度和机器级别的容灾。因为机器本身...……更多
训练一次ChatGPT,“折寿”3000辆特斯拉
...降本增效已迫在眉睫。如果大模型普及,全球飞速运转的服务器,怕不会把地球烧了。既然大模型训练的成本中,电费占主要部分,那么究竟是哪些环节在耗电?又能如何优化?大模型是“电老虎”OpenAI曾在其《AIandCompute》分析...……更多
大模型厂商急寻PlanB:英伟达改良版芯片已调试 华为等国产算力供应不足
...,英伟达面向中国市场的改良版——HGX H20已与国内头部服务器厂商在进行适配测试,由于具体的性能差异和优化程度挂钩,目前还很难对其与高配版H800做性能对比,但是,预估HGX H20的8卡服务器仍高达百万级。英特尔则对Gaudi 2...……更多
亏了13年的阿里云刚赚钱,怎么就被逼着五折大促销了?
...的需要,自建云都是一条 “ 不归路 ” 。 一旦你用上云服务器,新的问题就出现了。云计算的需求是由 “ 最高峰时的算力需要 ” 决定的,这就是所谓的弹性。但在平时,企业用到的算力可能是峰值的 1/3 甚至更少。这你不能...……更多
算力隐伤
...让“算力更普惠”的智算平台,硬件厂商则乘势加快了AI服务器、AI芯片、存储的国产替代进程。算力突围战,再次打响。01、奇点之路,算力为基在2023财年Q1财报会上,扎克伯格称“生成式AI将触及Meta所有产品”,这已是全球第...……更多
科技云报到:云服务的中场战事,从AI应用开始
...的核心能力基本停留在IaaS层面的“计算、存储和网络”服务器相关三大件领域,对于PaaS层的云服务能力相较落后于AWS等一众海外云厂商。但实际上,云厂商的价值则是要向PaaS平台发展的。“把IaaS、PaaS以及SaaS三者的优势拿出来...……更多
存储市场“供销两旺”原厂业绩好转,AI对存储应用市场提出要求
...近日在线上对记者分析说。进入2023年,除传统手机、PC和服务器市场外,ChatGPT开启的AI大模型浪潮、汽车智能化浪潮带来更多商业机会,这些应用场景对数据存储的容量、效率、流动性和安全性等方面提出了更高的需求。面对新...……更多
英特尔预计2024年正式上市Gaudi3,用于生成式AI模型
...伴和7家云服务商基于第五代至强处理器准备好了全新的服务器和云服务。”英特尔数据中心与人工智能集团副总裁兼中国区总经理陈葆立称。自去年年底ChatGPT发布以来,大语言模型技术支持下的AIGC应用获得了极大的发展。而这...……更多
MOSS核心成员:我们低估了ChatGPT影响力
...公布的对话式大型语言模型,热情的用户涌入一度导致其服务器被挤崩。21日晚,第一财经连麦学界、法律界大V,共同探讨了ChatGPT的应用、误读以及其牵涉的法律风险和商业伦理问题。复旦大学计算机科学技术学院教授张奇参...……更多
Sora这就落伍了?Meta“最强视频模型”不用DiT,用Llama大力出奇迹了
...行功率为 700W TDP,配备 80GB HBM3,采用 Meta 的 Grand Teton AI 服务器平台Baumgartner 和 Bowman,2022。在一台服务器内,有八个 GPU 通过 NVSwitch 进行均匀连接。服务器之间的 GPU 则通过 400Gbps RoCE R……更多
推理性能飙升1.5倍!微软疯狂下单GB200芯片提升其AI算力
...展其AI计算能力。根据NVIDIA官方给出的数据,新一代GB200服务器系统在Llama 3.1 700亿参数大模型上的AI推理性能对比H200提高了足足1.5倍。此外,微软还计划在低温数据中心部署GB200服务器,以缓解冷却系统的潜在压力。其他云服务...……更多
大模型激战:能否再造20年前互联网盛景
...月ChatGPT对相关概念股股价的拉动,芯片、光模块、PCB、服务器年初至今已各涨65%、146%、45%、62%。巨头混战大模型,能不能开启下一轮技术革命的热潮?谁究竟能脱颖而出?02别低估了大模型的门槛今年2月份ChatGPT-4问世后...……更多
中国AI大模型鏖战 上演科技罗生门
...月ChatGPT对相关概念股股价的拉动,芯片、光模块、PCB、服务器年初至今已各涨65%、146%、45%、62%。但大模型的需求真就如此之大么?产业链的需求有没有虚火么?这个答案显而易见。虚火旺盛,泡沫横生,不少投机者也在其中浑...……更多
AI服务器缺货真相调查:两天涨价30万,连“味精大王”都入场了
几乎是一夜之间,AI服务器价格在国内市场中飙升。智东西从一位服务器渠道销售人员处得知,搭载英伟达A800 GPU的热门AI服务器型号的价格已达140~150万元/台,比今年6月上涨超40%;搭载8颗英伟达H800 GPU的AI服务器价格上涨则更离...……更多
前商汤通用模型负责人打造3D大模型「Tripo」,3D生成迈入「秒级」时代 | 早期项目
...战,实现通用且可扩展的解决方案。这对算法、数据量、服务器等有很高的要求一一不过这恰恰也是VAST团队的核心优势。VAST这一思路提高了生成模型的成功率和效率。目前,已经实现8秒钟生成带纹理3D网格模型,可以进入传统...……更多
阿里云挥出“三板斧”:免费也要挣到钱
...下来的模型“放置”在任何一个云厂商平台上,通过虚拟服务器跑起来。上述人士介绍,在第二种形式中,阿里云构建了百炼平台、灵积(DashScope)平台等,为用户提供模型训练、推理等所需的算力服务。这些平台不仅支持阿里...……更多
复旦MOSS大模型开源了!Github和Hugging Face同时上线
...SS的参数量比ChatGPT小了一个量级,大家还是蜂拥而上,把服务器都给挤爆了。而发布没过一周,复旦大学教授邱锡鹏就在演讲中提出,如果优化顺利,计划在三月底开源MOSS。因为在他看来:人们之所以很容易有“卡脖子”问题...……更多
联想与英伟达联合发布全新液冷AI服务器:可实现万亿参数AI模型
...联想混合式AI全面优势集,推出ThinkSystem SC777 V4 Neptune,该服务器利用新的ThinkSystem N1380 Neptune,号称在紧凑的设计中实现万亿参数的AI模型。ThinkSystem N1380 Neptune垂直液冷机箱专为行业标准19英寸机架而设计,可……更多
英伟达特供芯片卖不动了?黄仁勋穿上东北花袄“示好”,中国大厂难掩AI野心
...囤货,大批量购买A800、H800等英伟达芯片,目前已部署的服务器总量尚能支撑市场需求,故而对“减量不减价”的H20兴致缺缺。而前人工智能NLP企业首席科学家、千芯科技董事长陈巍进一步向时代财经记者透露,国内交易市场中...……更多
GPT-4撞上文心一言,百度压力骤增:多模态和中文能力受关注,或多种方式落地
...言顺利上线,百度阳泉智算中心专门为其搭建了GPU集成的服务器中心,该地运维人员也在紧急进行压力测试。据了解,百度阳泉智算中心采用的也是英伟达芯片,而百度也在推动芯片研发,其量产的7纳米昆仑芯2代在FP16精度下达...……更多
更多关于科技的资讯:
中国电信、华为完成全国首个 5G 低成本高精度定位商用试点
IT之家 11 月 11 日消息,中国电信广东公司、中国电信研究院携手华为公司日前在广州完成 5G 室内低成本高精度定位商用试点
2024-11-12 09:54:00
39元的RGB炫彩音箱,内置电池可插TF卡,“跑马灯”闪瞎我眼
有阵子没写音箱了,最近发现一个不错的货色,但不知道音质如何,于是我11月6日下了一单,8号收到。目前已经玩了两天,确实有点意思
2024-11-12 09:54:00
GPT-5被曝不及预期,OpenAI员工:没什么科学突破了,只需要工程
猛料来了,OpenAI下一代旗舰模型被曝提升不如预期。消息来自The Information,具体指代号“猎户座”(Orion)的模型相对GPT-4的提升幅度
2024-11-12 09:54:00
当雷军和小米洗衣机开始谈创新,家电企业应该怎么干?
最近,让雷军惊讶的小米洗衣机新品,暴露出过去多年以来,小米在家电行业的“低价竞争”之路已经走不动、走不远了,必须要回归产品的专业性和差异化
2024-11-12 09:55:00
官方辟谣“手机必须用完电再充”说法:电量不满即可充
【CNMO科技消息】近日,北京市科学技术协会和北京市委网信办联合发布了“科学”流言榜,对“手机电量必须用完再充电,这样能延长电池寿命”的说法进行了辟谣
2024-11-12 09:55:00
亚马逊做了 10 年 Alexa,还是失败了,为什么?
复盘语音交互颠峰产品的10年来源:Founder Park十年前,2014 年 11 月 6 日,Alexa 发布,对贝佐斯来说
2024-11-12 09:55:00
华为双11不讲武德,Pura70 Pro+突降2230元,还是16GB+1TB
进入下半年之后,要说大家最期待的高端机,它肯定少不了华为Mate70,网络中也是对这款手机多次爆料,消费者的热情度也是非常高
2024-11-12 09:55:00
骁龙8Gen3旗舰售价创新低,5800mAh+120W,12GB+256GB仅2119元
要是提到高性价比手机,大家肯定会想到小米、iQOO以及一加手机,它们也是在性价比市场中取得了不错的成绩,而对于realme真我
2024-11-12 09:57:00
专家模型不要专家并行!微软开源MoE新路径
【新智元导读】近日,来自微软的研究人员开源了使用全新方法训练的MoE大模型,不走寻常路,且编码和数学表现出色。继Phi家族之后
2024-11-12 09:57:00
美媒称苹果难寻下一个iPhone 未来需更多iPad般产品线
【CNMO科技消息】近年来,苹果推出的新品虽各具特色,却未能再现iPhone问世时的巨大震撼。据CNMO了解,彭博社知名记者马克·古尔曼近期指出
2024-11-12 09:57:00
跌至2119元,骁龙8Gen3+5500mAh+120W,顶配旗舰加速清仓
在双十一期间选择降价,无疑是一个非常明智的选择,对于很多手机厂商来说,想要在这个期间取得一个好成绩,也是只能通过降价来刺激消费
2024-11-12 09:58:00
荣耀300超大杯或配备1.5K屏 搭载骁龙8 Gen3和50MP潜望
【太平洋科技快讯】近日,相关爆料消息称荣耀数字系列的最新“超大杯”机型将配备1.5K高清屏幕,并搭载业界领先的骁龙8 Gen3处理器
2024-11-12 09:58:00
将AI融入终端 天翼云电脑开启云上新“引擎”
(图片来源:摄图网) (记者 叶菁)随着生成式人工智能热潮席卷全球,各行各业加速向智能化转型,人们的生活和工作方式也发生着深刻的改变
2024-11-12 09:58:00
450台,2153亿元!ASML不愿意看到的情况出现了:中国芯加速蜕变
作为光刻机领域的霸主,荷兰ASML公司在2023年交出了高分成绩单。得益于美西方对中国芯片产业的打压,ASML公司成为了最大受益者
2024-11-12 09:58:00
Windows 11 今后能知道您的 PC 消耗了多少能源
随着 Windows 11 及其众多功能的更新,微软正在采取额外的措施来确保 Windows 计算机尽可能地节能。 最新的努力似乎是让您了解您的电脑正在消耗多少能源
2024-11-12 09:59:00