• 我的订阅
  • 头条热搜
全新架构的昇腾AI计算集群发布,支持超万亿参数大模型训练
...会主任、企业BG总裁汪涛正式发布全新架构的昇腾AI计算集群——Atlas900SuperCluster,可支持超万亿参数的大模型训练。据介绍,新集群采用了全新的华为星河AI智算交换机CloudEngineXH16800,借助其高密的800GE端口能力,两层交换网络...……更多
华为推出昇腾AI计算集群 可支持超万亿参数大模型训练 【华为推出昇腾AI计算集群 可支持超万亿参数大模型训练】《科创板日报》20日讯,华为今日推出全新架构的昇腾AI计算集群——Atlas 900 SuperCluster,可支持超万亿参数的大...……更多
LLM训练通信量减少10000倍!全新分布式优化器,整合世间算力训练强大AI
...,而整个网络世界也就成为了一个巨大的异构的AI服务器集群。——任何有相关算力的设备都可以参与到训练过程之中。实验证明,本文的方法基本不会导致模型性能下降,同时DisTrO-AdamW在收敛速度方面,也与标准的AdamW+All-Reduce...……更多
GPT-4被破解 训练成本 模型架构的秘密都被挖出来了?
...模型之后微调得到的。BatchSize:batchsize是逐渐上升的,在集群中经过几天的时间达到一个数值。最终,OpenAI的BatchSize达到了6000万!也就是每个专家大约有750万的token数量,但是并不是每个专家都能看到所有的tokens。并行策略:由...……更多
当大模型Scaling Law继续,万卡集群算力释放在百舸找到一条通途
...算力需求对 GPU 等硬件提出了更高要求,大规模 GPU 算力集群成为必然选择。这也是为什么近年来国内外科技厂商纷纷布局 AI 算力基础设施,死磕万卡甚至 10 万卡集群。此外,大规模算力集群也越来越凸显训推一体的重要性,寻...……更多
全球最强开源大模型Llama 3发布:使用15T数据预训练,最大模型参数将超4000亿
...言模型的下一代产品——Llama 3。据介绍,Llama 3 在 24K GPU 集群上训练,使用了 15T 的数据,提供了 8B 和 70B 的预训练和指令微调版本,可以支持广泛的应用。同时,Llama 3 在广泛的行业基准测试中达到了 SOTA,并提供了新的功能,...……更多
Yandex推出开源大语言模型训练工具,称可节省高达20%的图形处理器资源
...就越多。需要说明的是,大型语言模型训练依赖于组织成集群的众多图形处理器,这些集群是互连的图形处理器阵列,可以执行训练具有数十亿参数的模型所需的大量计算。在集群内的处理器之间分配计算需要持续的通信,这往...……更多
国产GPU万卡集群终于来了!摩尔线程CEO张建中:做难而正确的事
...100天,折算成H100则需要1000张;Meta今年推出2个24576张H100集群,用于训练Llama 3等新模型;本周马斯克自曝新版Grok 3训练用了10万张H100 GPU。在国内,万卡集群建设高歌猛进。去年7月,华为昇腾AI集群规模扩展至16000卡;10月,科大...……更多
...正在和华为一道打造面向超大规模大模型训练的国产算力集群,形成集群化优势。“科大讯飞和华为已在联合攻关算力卡脖子的问题。”8月15日,科大讯飞董事长刘庆峰在合肥举办的讯飞星火认知大模型V2.0升级发布会上表示。...……更多
oppofindx7系列带来行业首个端侧应用70亿参数大模型
...云侧大模型可以实现快速迭代。其中,浸没GPU+IB网络训练集群,让训练性能相比传统风冷提升8+%,同时让能效提升45%,算力应用密度提升400+%。非常难得的是,OPPO还与MediaTek的深度合作,率先在行业采用4位量化技术(行业最优大...……更多
腾讯自研大模型助力长三角打造世界级产业集群
...云推出大模型训练“黄金三件套”。新一代HCC高性能计算集群,支持超过10万张卡并行计算,在同等数据集下,可以将万亿参数大模型的训练时间缩短至4天。腾讯自研星脉高性能计算网络,具备业界最高3.2T通信带宽,通信性能...……更多
从狂热到理性:大模型训练三堵墙,一场少数人的游戏 | 钛媒体深度
...上是一个认知误区,大模型训练的实现依靠的是一个算力集群,包含整套的服务。但不是所有企业都能驾驭大规模算力集群,这注定是一场少数人的游戏。事实上,微软和OpenAI的合作也已经证明,用云来训练大模型,似乎是更合...……更多
英伟达地表最强,黄教主被称作AI界“霉霉”
...商,其中亚马逊将构建一个包含20000个GB200芯片的服务器集群。思科、戴尔、惠普、联想和超微电脑等大量企业也都已经把提供基于Blackwell产品的各种服务提上了日程。英伟达表示,新芯片预计将于今年晚些时候上市,但目前还...……更多
优刻得首个「国产千卡智算集群」落地,支持智源千亿大模型训练
...不移的发展自主可控的国产技术方案,持续壮大国产智算集群规模,才能一路突破围追堵截,进一步促进国产大模型产业生态繁荣。作为中立、安全的云计算服务厂商,优刻得持续发力人工智能智算领域,与国内主流AI芯片厂商...……更多
用60%成本干80%的事,DeepSeek分享沉淀多年的高性能深度学习架构
...这些成本具有很大的好处,构建成本和能耗高效型计算机集群也就自然成了一个热门的研究方向。近日,DeepSeek(深度求索)发布了一份基于硬件发展的实际情况及其多年实践经验的研究成果,其中提出了一些用于构建用于深度...……更多
干货解读|从算力、云原生,洞见青云科技新布局
...拟化、KubeSphere Cloud云原生SaaS服务平台等,也形成了覆盖多集群管理、DevOps、微服务、可观测性、Serverless等云原生业务场景的解决方案,并积累了大量的生产实践。容器是云原生最核心的技术之一,但对于很多企业而言,容器和Kubernet...……更多
1890美元,就能从头训练一个还不错的12亿参数扩散模型
...练分别消耗了总计算成本的 56% 和 44%。模型在 8×H100 GPU 集群上的总时钟训练时间为 2.6 天,相当于在 8×A100 GPU 集群上为 6.6 天。了解更多结果,请参考原论文。 ……更多
华为张迪煊:共筑智能根基,引领AI新未来
...第一,引领算力创新,通过系统级的创新,从单点算力到集群算力,让发展有根基。第二,突破软件架构,通过软硬协同创新,全流程加速大模型开发,让创新有源泉。第三,使能行业升级,改变开发模式,推动产业协同,打通...……更多
大模型时代的阿里云,将云计算进行到底
...新升级的阿里云人工智能平台PAI,底层采用HPN7.0新一代AI集群网络架构,可高效协同调度各类芯片,支持高达10万卡量级的集群可扩展规模,让超大集群像一台计算机般高效运转。阿里云PAI可支撑多个万亿参数大模型同时训练,...……更多
oppo首个端侧应用70亿参数大模型findx7系列
...星通话,首个端侧应用70亿参数大模型,首次亮相的潮汐架构等诸多前沿技术。此次宣布的全新技术组合将全面落地下一代旗舰产品FindX7系列,为2024年旗舰手机树立全新的技术标杆,并为消费者带来刷新标准的创新旗舰体验发布...……更多
没有这些,别妄谈做 ChatGPT 了
... 飞天智算平台做支撑。这是一个超大规模的高性能计算集群,是国内唯一能实现万卡规模的 AI 集群。给你一万张 A100,就能把 ChatGPT 训出来吗?答案无疑是否定的。万卡集群对于网络、存储和通信有极高的要求,弄得不好直接...……更多
清华教授唐杰:Scaling Laws虽被质疑,但至今仍是提高大模型性能的重要方法
...AGI元年(2024)。自2017年谷歌提出Transformer机器学习模型架构后,该架构迅速席卷了整个人工智能领域,成为自然语言处理等相关研究的主要方法。2018至2020年是算法创新年,先后出现了基于Transformer的BERT、GPT/GPT-2/GPT-3、T5等基于...……更多
AI重塑千行百业 华为云发布盘古大模型3.0和昇腾AI云服务
...业客户、伙伴及开发者提供更好的服务。昇腾AI云服务单集群提供2000P Flops算力,千卡训练30天长稳率达到90%,为业界提供稳定可靠的AI算力,让大模型触手可及。华为常务董事、华为云CEO张平安重磅发布盘古大模型3.0张平安表示...……更多
华为云盘古3.0大模型正式发布
...台风未来10天的路径,需要在3000台服务器的高性能计算机集群上花费5小时进行仿真。现在基于预训练的盘古气象大模型,通过AI推理的方式,研究者只需单台服务器上单卡配置,10秒内就可以获得更精确的预测结果。在金融领域...……更多
孟晚舟来沪表态:华为将“为世界构建第二选择”
...为面向万亿参数大模型时代,推出全新架构的昇腾AI计算集群——Atlas 900 SuperCluster,可支持超万亿参数的大模型训练。新集群采用了全新的华为星河AI智算交换机,使用了创新的超节点架构,大大提升了大模型训练能力。 会上...……更多
...型训练、调优和推理的实验平台,资源储备包括数千卡GPU集群。面对“重复造轮子”的质疑,零一万物用目前国内大模型赛道存在的两个问题做出了回应:一,许多声称效果类似ChatGPT 的开源模型,都只局限于简单对话,无法适...……更多
AI 时代,这家公司想做一个免费数据库
...的时间里,TiDB Serverless beta 版已经拥有超过 1 万个活跃的集群。小模型服务企业场景PingCAP 副总裁刘松认为,数据库正经历着从云原生数据库到 Serverless 数据库,再到拥抱 AI,将 AI 与数据库进行融合的大方向。TiDB Serverless 数据...……更多
从0到1:国产化千卡集群的一小步,AI算力主动权的一大步
...透过OpenAI的演进轨迹,就会发现AI算力的重心已从单机向集群蜕变:伴随大模型的参数规模从百亿、千亿到万亿,所需的数据量也从几百B跃升到P级,千卡、万卡集群正日益成为大模型训练的标配。显而易见,要想走出多重因素...……更多
AI芯片“顶流”齐聚深圳南山,逐鹿芯世界!
...园崇文园区、国际创新谷为主聚集地的智能终端芯片设计集群,智能终端芯片设计产业产值占集群总产值比例达81%。另外,2022年深圳市人工智能产业规模达2488亿元,同比增长32.10%。深圳市人工智能企业主要集中在南山区,...……更多
腾讯钟学丹:人工智能成为汽车行业新质生产力 推动数智化升级
...还将在自动驾驶等场景中充分应用。新一代HCC高性能计算集群,搭载最新次代GPU,支持10万卡GPU超大计算规模,是国内性能最强的大模型计算集群之一,最快四天就可以训练万亿参数的大模型。腾讯自研的星脉网络,则为新一代...……更多
更多关于科技的资讯:
苹果突然打退堂鼓:据称已退出OpenAI本轮融资谈判
据媒体周五报道,苹果公司已退出了OpenAI融资轮的谈判,该轮融资预计将筹集65亿美元。媒体援引一位知情人士的话报道称
2024-09-28 17:32:00
董宇辉:不要妖魔化食品添加剂 国标范围内就没啥
快科技9月28日消息,近日董宇辉公开表示,不要妖魔化食品添加剂,国标范围内就没啥。董宇辉近期谈及食品添加剂时表示,第一大量添加剂只要在国标范围内
2024-09-28 18:02:00
鸿蒙智行傲界改名尊界 余承东:傲在中华传统文化里不太谦虚
快科技9月28日消息,余承东与马东直播时透露了鸿蒙智行傲界改名尊界的原因。余承东提到,尊界原命名为“傲界”,但傲这个字在中华传统文化里不太谦虚
2024-09-28 18:02:00
合肥光电半导体产业技术研究院三项目亮相科创展会
大皖新闻讯 9月26日,由合肥科创(人才)集团主办的2024合肥科创展会在合肥高新区中国声谷举办。来自合肥光电半导体产业技术研究院的“混合动力倾转旋翼复合翼eVTOL项目”“永磁
2024-09-28 18:16:00
华为云数字化技术发展沙龙在大渡口举行
9月27日消息,随着数字重庆建设的持续推进,软件产业与数据安全已成为城市发展的两大支柱。近日,一场主题为“推动软信产业发展
2024-09-28 18:19:00
华为pura70ultra到底有多牛?看完你就明白了
话说回来,华为此举可不只是为了和苹果“较劲”才这样无底线“降价”,作为国产手机品牌的骄傲,华为一直致力于将最前沿的技术带给消费者
2024-09-28 18:57:00
骁龙8 Gen4/天玑9400旗舰涨价板上钉钉了:有厂商拟定价4299元
快科技9月28日消息,有博主爆料,有厂商的迭代旗舰拟定价4299元(12GB+256GB),该博主还称,大部分新旗舰都将会涨价
2024-09-28 19:02:00
第三届中国抗衰大会开幕,GRANVER 吉返盾助力科学养老
“第三届中国抗衰老大会暨新质生产力推动抗衰老产业发展高峰论坛”近期在山东济南隆重开幕,大会以”科技引领抗衰老,新质生产力推动产业发展”为主题
2024-09-28 19:31:00
因殴打博主引发关注!网红东北雨姐夫妻实控约30家企业
9月28日消息,微博话题“东北雨姐夫妻实控约30家企业”冲上热搜榜,引发关注。据媒体报道,9月23日,打假博主“大娃”和“赏金猎人灰烬”爆料称
2024-09-28 19:32:00
鸿蒙智行“丈量祖国大好河山”活动隆重启动
在北京这座古韵今风交相辉映的城市里,随着金秋九月的尾声,9月28日这一天,一场盛大的发车仪式在永定门城楼下隆重举行,标志着鸿蒙智行与中国探险协会联合举办的“丈量祖国大美山河”活动正式拉开帷幕
2024-09-28 19:38:00
丈量祖国大美山河,何以鸿蒙智行?
翻开汽车工业百年历史,全球经历了一场又一场的巨变,汽车工业中心也在不断变迁。而在当今的新能源时代,中国新能源汽车正在引领全球创新
2024-09-28 19:40:00
“滴灌之星”系统开启数字化运营新篇章
9月28日消息,滴灌通澳交所发布“滴灌之星”系统,开启数字化运营新篇章。该系统旨在通过数字化手段,丰富交易产品,提升市场效率
2024-09-28 19:53:00
中国电商平台正式迈入互联互通新时代
9月28日消息,近期,中国电商领域掀起互联互通的新浪潮,各大头部平台纷纷打破壁垒,展开新一轮的合作。继淘宝天猫宣布支持微信支付后
2024-09-28 19:54:00
余承东揭秘鸿蒙智行旗下“傲界”更名原因
9月28日消息,余承东与马东在近期的直播中,揭秘了鸿蒙智行旗下车型从“傲界”更名为“尊界”的背后原因。据余承东透露,原命名中的“傲”字在中华文化中显得不够谦逊
2024-09-28 19:55:00
上海国际汽车城内的智慧出行设计谷正成为行业焦点
9月28日消息,上海国际汽车城内的智慧出行设计谷正成为行业焦点,汇聚了众多智慧出行领域的先锋力量。近日,国际智慧出行设计大会暨CCDIS中国汽车设计(国际)峰会在嘉定区隆重召开
2024-09-28 19:56:00