- 我的订阅
- 头条热搜
我们正处于一个信息大暴发的时代，每天都能产生数以百万计的新闻资讯！
虽然有大数据推荐，但面对海量数据，通过我们的调研发现，在一个小时的时间里，您通常无法真正有效地获取您感兴趣的资讯！
头条新闻资讯订阅，旨在帮助您收集感兴趣的资讯内容，并且在第一时间通知到您。可以有效节约您获取资讯的时间，避免错过一些关键信息。
每3个小时1次、平均1天8次，Llama 3.1 405B预训练老出故障，H100是罪魁祸首？最近有人从Meta发布的92页超长Llama 3.1论文中发现了华点：Llama 3.1在为期54天的预训练期间，经历了共466次任务中断。其中只有47次是计划内的，419次纯属意...……更多
2024-07-30 09:38:00万卡,集群,故障,脆弱,训练,小时
...近年来国内外科技厂商纷纷布局 AI 算力基础设施，死磕万卡甚至 10 万卡集群。此外，大规模算力集群也越来越凸显训推一体的重要性，寻求在同一个集群中无缝切换大模型的训练和推理，简化用户部署流程。虽然 GPU 集群可以...……更多
2024-09-26 13:37:00万卡,百舸,通途,集群,模型,百舸
...鹏向媒体解读了大模型时代的算力成本。为了有效降低AI万卡集群的算力开支，他提出搭载RDMA网络、自动并行策略、保证训练稳定性、动态分配算力、多芯异构混训，共五个方面的解决方案。过去互联网时代，服务器每台数万元...……更多
2024-09-14 09:55:00拆解,模型,负责人,成本,时代,万卡
作者 | ZeR0编辑 | 漠影“AI主战场，万卡是最低标配！”在2024世界人工智能大会开幕前夕，摩尔线程创始人兼CEO张建中抛出一句掷地有声的断言。为什么必须是万卡？大模型行业变化很快，客户希望两周内结束战斗，最迟也得在1...……更多
2024-07-09 09:47:00摩尔,张建中,万卡,张建,集群,线程
伴随大模型迭代速度越来越快，训练集群规模越来越大，高频率的软硬件故障已经成为阻碍训练效率进一步提高的痛点，检查点（Checkpoint）系统在训练过程中负责状态的存储和恢复，已经成为克服训练故障、保障训练进度和提...……更多
2024-08-09 09:37:00万卡,训练,豆包,脆皮,大为,模型
...本文转自：人民日报海外版黑龙江筑牢数字新基建底座超万卡集群让算力迈上新台阶本报记者 崔 佳 方 圆《 人民日报海外版 》（ 2024年10月18日 第 08 版）中国移动智算中心（哈尔滨）万卡智算集群俯瞰图。采访对象供图工作人...……更多
2024-10-18 05:26:00力迈,万卡,集群,台阶,哈尔,黑龙
...千亿到万亿，所需的数据量也从几百B跃升到P级，千卡、万卡集群正日益成为大模型训练的标配。显而易见，要想走出多重因素叠加造成的国内算力紧缺困境，通过集群互联弥补单卡性能不足，也许是当下最值得探索的路径。考...……更多
2024-04-28 11:52:00小步,主动权,集群,大步,主动,国产
在打造十万卡集群上，几家国内头部企业已有动作。在11月12日举办的百度世界2024大会上，百度集团执行副总裁、百度智能云事业群总裁沈抖透露，为了支撑大模型进一步的高速发展，百度在打磨十万卡集群能力方面，已在两大...……更多
2024-11-15 10:01:00万卡,集群,中国,背后,建设,万卡
...读】在Meta的Llama 3.1训练过程中，其运行的1.6万个GPU训练集群每3小时就会出现一次故障，意外故障中的半数都是由英伟达H100 GPU和HBM3内存故障造成的。随着大模型的迭代，其GPU用量也在不断增长。Meta的Llama 1使用了2028块GPU，而到...……更多
2024-07-30 09:39:00罪魁,祸首,显存,故障,小时,故障
...重要里程碑，可能会引领AI训练和推理的新趋势。
2国内万卡集群已蔚然成风金融投资报记者注意到，在国内，字节跳动、阿里巴巴、百度、科大讯飞等也都在积极推动万卡集群的建设。比如，字节跳动搭建了一个12288张卡的训...……更多
2024-07-24 14:02:00马斯,马斯克,万卡,人工智能,集群,竞赛
天翼云上海临港国产万卡算力池正式启用。3月22日，中国电信宣布，天翼云上海临港国产万卡算力池正式启用，同时入驻首批用户。这是国内首个投入正式运营的国产单池万卡液冷算力集群，也是业内领先的全国产化云智一体...……更多
2024-03-23 09:09:00万卡,集群,模型,投入,运营,国产
独家|蚂蚁集团已建设超过万卡异构算力集群 【独家|蚂蚁集团已建设超过万卡异构算力集群】《科创板日报》9日讯，蚂蚁集团首席技术官何征宇表示，目前已形成包括大模型底层基础设施、基础大模型、行业大模型、应用产品...……更多
2023-11-09 12:55:00万卡,集群,蚂蚁,集团,建设,万卡
...性等方面带来挑战。事实上，已经用于大模型训练的H100万卡集群，业界也还没有完全驯服好。比如Llama 3.1系列的技术报告就指出，训练期间平均3小时故障一次，其中GPU导致的问题占了58.7%。总计419次故障中，148 次是由各种GPU故...……更多
2024-08-06 09:27:00英伟,刀法,架构,芯片,不够,英伟
...到达15000卡，总算力超4500P。其中，单池新建国产算力达万卡，是国内首个超大规模国产算力液冷集群。该集群采用新一代国产AI算力，实现了全栈自主创新和技术突破，通过高速RDMA（远程直接数据存取）连接各物理机节点，提...……更多
2024-01-23 19:28:00万卡,集群,国产,建设,全国,上海
...行性，在全球还是第一次。随着智算集群规模达到千卡、万卡，所需带宽往往高达百T比特级，甚至超P比特级，因此，光传输系统的大带宽、高可靠与高效率的特点是保证分布式训练高算效的关键。针对数据传输的大带宽问题，...……更多
2024-09-03 06:36:00中国电信,分布式,中国,验证,电信,网络
...活且高效的基础设施支持。摩尔线程近期宣布了从千卡至万卡的全功能GPU智算集群扩展方案，双方此番合作就将聚焦于万卡级超大规模GPU智算集群的开发与优化。清程极智是一家致力于构建高效人工智能系统软件，赋能国产算力...……更多
2024-07-18 22:51:00摩尔,万卡,新进,集群,线程,性能
...，对数据存储提出了新的诉求。AI大模型集群规模已迈入万卡、十万卡时代，集群规模增加带来更加频繁的故障和训练中断，重复的CheckPoint数据写入、断点续训导致算力资源闲置，集群可用度不足50%。此外，到2026年，全球数据...……更多
2024-05-07 20:01:00华为,数据,存储,时代,数据,存储
...人工智能研究院（TeleAI）成功完成国内首个基于全国产化万卡集群训练的万亿参数大模型（万卡万参），并正式对外开源首个基于全国产化万卡集群和国产深度学习框架训练的千亿参数大模型——星辰语义大模型 TeleChat2-115B。这...……更多
2024-09-30 09:50:00万卡,重磅,模型,国产,训练,模型
...哈尔滨发布”介绍，中国移动智算中心（哈尔滨）节点超万卡智算集群将于8月30日正式投用。中国移动黑龙江公司在哈尔滨智算中心共计部署1.8万张AI加速卡，2336台智算服务器。集群建设完成后，具有单集群算力规模最大，国产...……更多
2024-08-22 15:55:00加速卡,哈尔,哈尔滨,集群,规模,市电
【中国电信规划建设首个支持单池万卡的国产超大规模算力液冷】《科创板日报》21日讯，《科创板日报》记者从知情人士获悉，中国电信已在上海规划建设可支持万亿参数大模型训练的智算中集群心。其中，单池新建国产算力...……更多
2024-02-21 18:20:00万卡,中国电信,规划建设,中国,国产,规模
...夸娥（KUAE）智算集群解决方案从当前的千卡级别扩展至万卡规模。摩尔线程夸娥万卡智算集群以全功能 GPU 为底座，打造能够承载万卡规模、具备万 P 级浮点运算能力的国产通用加速计算平台，号称专为万亿参数级别的复杂大模...……更多
2024-08-02 13:46:00摩尔,一体机,线程,模型,一体,战略
...签约。此外，“智算集群赋能港大自主算法平台”“国产万卡液冷集群赋能星辰大模型”“Sensecore智算体系赋能日日新5.0大模型”等一批大模型训练集群启动。临港新片区2023年发布《临港新片区加快构建算力产业生态行动方案...……更多
2024-05-08 15:10:00集群,示范,模型,场景,训练,临港
本文转自：宁夏日报中国移动宁夏公司聚力打造万卡级算力集群——绘就宁夏“数字风景”本报记者 陈瑶 见习记者 何婉蓉 常宽在穿越黄河的供热隧道中，5G+智能巡检机器人将4K高清巡检画面及环境参数实时传输至集控中心，...……更多
2023-11-27 06:45:00宁夏,风景,数字,宁夏,移动,万卡
...场景示范方面，已落地了一批如全国规模最大的国产单池万卡液冷算力集群等重要项目。同时重点布局面向国际数据业务的国际数据中心，目前已完成国际算力、国际通信、国际互联网交换等业务测试，形成网络安全防护、数据...……更多
2024-05-08 12:40:00临港,高地,新片,政策,产业,临港
...全国性智算中心与X个边缘智算节点建设布局，打造一批万卡级智算集群，加快超算、量算等多种类型社会算力并网。在构建“丰富易用”的新服务，支撑“人工智能+”发展方面，面向AI大模型研发、部署、应用全流程，加速国...……更多
2024-04-28 13:53:00万卡,集群,中国,中国移动,董事长,董事
...模型训练与微调，到部署、评测的全生命周期服务，支持万卡级别的分布式训练，实现动态资源统一管理。在智能体构建方面，平台提供一系列多模态组件与应用框架，如文生图、语音识别等多模态组件，以及检索增强生成、智...……更多
2024-06-07 11:04:00云大,京东,落地,模型,场景,支持
...连接超过10万个GPU。在平台层，人工智能平台PAI，已实现万卡级别的训练推理一体化弹性调度，AI算力有效利用率超90%；湖仓一体化平台OpenLake，可提供大数据搜索、AI一体化能力体系；多模数据管理平台DMS，可实现跨云数据库、...……更多
2024-11-19 18:59:00科技奖,阿里,基础设施,设施,领先,大会
...算力供给，存在很大的差异性。目前大模型研发已经进入万卡时代，从事大模型研发的公司和团队，普遍面临“买不起、建不了、算不好”的困局。如何解决上述困境？彭震认为，需要以算力基建化改善算力供给，促进算力普惠...……更多
2023-11-07 15:53:00浪潮信息,浪潮,难题,模型,系统,信息
...总结了大模型实践过程中的十大难题：在训练上，面临着万卡/十万卡集群分布式训练及可靠性的挑战；在推理上，需解决面向LLM长文本生成的高效解码的挑战；在高效资源利用方面，面临着AI集群碎片资源利用及全局作业最优调...……更多
2023-12-23 16:00:00华为,人工智能,人工,难题,模型,总裁
...表示，AMD将助力构建全球最大的单体人工智能（AI）训练集群，将集成高达120万片的GPU。120万片GPU是一个非常惊人的数字，要知道目前全球最强的超级计算机Frontier所配备的GPU数量才只有37888片，这也意味着AMD所支持的AI训练集群...……更多
2024-06-28 02:31:00单体,人工智能,集群,人工,训练,智能
更多关于科技的资讯：
快科技2月11日消息，近日，一老外看完《哪吒2》称中国动画杀疯了，影院基本座无虚席，IMAX厅第一二排都坐满了，放映结束后全场鼓掌
2025-02-11 13:48:00
快科技2月11日消息，据媒体报道，近日，全球最大的半导体IP厂商Arm公司CEO Rene Haas在接受采访时坦言，中国AI新创公司DeepSeek横空出世确实令人意外
2025-02-11 13:48:00
2月11日8时30分，贵州印江经开区富鼎橡塑有限公司车间内，轰鸣的机器声奏响了新春序曲。只见原材料、半成品、成品等各类橡胶制品堆积如山
2025-02-11 14:03:00
文｜罗曾在情绪价值驱动消费的时代背景下，IP已成为激发消费者热情、触达其内心的关键要素。2024年问世的《黑神话：悟空》迅速风靡全球
2025-02-11 14:15:00
快科技2月11日消息，北京现代宣布第五代胜达推出“焕新一口价”政策，起售价调整至17.58万元，较原指导价区间19.58万-26
2025-02-11 14:18:00
在当今竞争激烈的商业环境中，企业运营效率的高低往往决定了其在市场中的地位和生存能力。而信息化系统的应用，正逐渐成为企业提升运营效率的关键因素
2025-02-11 14:45:00
快科技2月11日消息，回家过年，想必很多自驾的朋友都经历过拥堵，有些甚至堵到怀疑人生，每当这时候，总会有人感慨要是自己的车会飞就好了
2025-02-11 14:48:00
快科技2月11日消息，华中科技大学团队成功研制出兼具卓越机械柔韧性与高效光电转换的可拉伸太阳能电池，为可穿戴设备供能提供了创新方案
2025-02-11 14:48:00
快科技2月11日消息，四界之后，华为“第五界”马上也要来了。据国内媒体报道，行业人士透露，华为与上汽的合作模式已确定将使用智选车模式
2025-02-11 14:48:00
快科技2月11日消息，《王者荣耀》宣布，将推出明世隐“景韶洛都”新皮肤，免费送。这是王者荣耀x神都洛阳文创联动皮肤，以古代文人雅士和牡丹为主题灵感
2025-02-11 14:48:00
快科技2月11日消息，赛力斯汽车有限公司近期申请注册了包括“问界二手车”、“问界金融”、“问界售后”、“问界保险”、“问界租赁”
2025-02-11 14:48:00
快科技2月11日消息，博主数码闲聊站暗示，华为Pura 80 Ultra工程机配备国产自研1英寸超大底主摄，同时配备1/1
2025-02-11 14:48:00
近期，DeepSeek引发热烈关注。邮储银行积极拥抱AI技术变革，依托自有大模型“邮智”，第一时间本地部署并集成DeepSeek-V3模型和轻量DeepSeek-R1推理模型
2025-02-11 14:54:00
“共识聚心，作战扬旌”，2025年1月17日，快准车服2025战略共识大会暨作战中心誓师大会在浙大校友园盛大举行并圆满落幕
2025-02-11 15:00:00
这个冬天，哈尔滨再度成为全国瞩目的顶流，银装素裹的冰雕奇景与热血沸腾的冰雪运动交织，掀起了全民参与的热情。京东数据显示
2025-02-11 15:03:00