• 我的订阅
  • 头条热搜
Llama3训练每3小时崩一次?豆包大模型、港大为脆皮万卡训练提效
伴随大模型迭代速度越来越快,训练集群规模越来越大,高频率的软硬件故障已经成为阻碍训练效率进一步提高的痛点,检查点(Checkpoint)系统在训练过程中负责状态的存储和恢复,已经成为克服训练故障、保障训练进度和提...……更多
北京大学成立大模型系统软件联合实验室
...了卓有成效的合作,合作发表多篇高质量论文,特别是对万卡规模GPU的大模型训练系统设计进行了公开介绍,对学术界和产业界都产生了重大影响。”胡振江认为,联合实验室的建立标志着双方合作走入更深、更精、更密切的新...……更多
国产GPU万卡集群终于来了!摩尔线程CEO张建中:做难而正确的事
作者 | ZeR0编辑 | 漠影“AI主战场,万卡是最低标配!”在2024世界人工智能大会开幕前夕,摩尔线程创始人兼CEO张建中抛出一句掷地有声的断言。为什么必须是万卡?大模型行业变化很快,客户希望两周内结束战斗,最迟也得在1...……更多
字节跳动豆包大模型发布,火山引擎全栈AI服务助力企业智能化转型
...需求,火山引擎也全新发布了混合云veStack智算版,具有万卡集群组网,3.2T高性能无损网络的超大规模优势;端到端工程化所支撑的极致性能,能够实现97.78%训练加速比和分钟级故障发现和自愈;拥有多元异构能力,可适配十余...……更多
近日,百度智能云成功点亮昆仑芯三代万卡集群,这也是国内首个正式点亮的自研万卡集群。据悉,百度智能云将进一步点亮3万卡集群。这一重大突破标志着百度在人工智能算力领域迈出了坚实的一步,不仅为百度自身的技术...……更多
当大模型Scaling Law继续,万卡集群算力释放在百舸找到一条通途
...近年来国内外科技厂商纷纷布局 AI 算力基础设施,死磕万卡甚至 10 万卡集群。此外,大规模算力集群也越来越凸显训推一体的重要性,寻求在同一个集群中无缝切换大模型的训练和推理,简化用户部署流程。虽然 GPU 集群可以...……更多
重磅!TeleAI 完成首个全国产化万卡万参大模型训练
...人工智能研究院(TeleAI)成功完成国内首个基于全国产化万卡集群训练的万亿参数大模型(万卡万参),并正式对外开源首个基于全国产化万卡集群和国产深度学习框架训练的千亿参数大模型——星辰语义大模型 TeleChat2-115B。这...……更多
首个国产单池万卡液冷算力集群投入运营,满足万亿级大模型训练需求
天翼云上海临港国产万卡算力池正式启用。3月22日,中国电信宣布,天翼云上海临港国产万卡算力池正式启用,同时入驻首批用户。这是国内首个投入正式运营的国产单池万卡液冷算力集群,也是业内领先的全国产化云智一体...……更多
中国智算建设潮背后,谁在推动十万卡集群
在打造十万卡集群上,几家国内头部企业已有动作。在11月12日举办的百度世界2024大会上,百度集团执行副总裁、百度智能云事业群总裁沈抖透露,为了支撑大模型进一步的高速发展,百度在打磨十万卡集群能力方面,已在两大...……更多
算力浪费超50%!百度AI计算部负责人拆解大模型时代的算力成本
...鹏向媒体解读了大模型时代的算力成本。为了有效降低AI万卡集群的算力开支,他提出搭载RDMA网络、自动并行策略、保证训练稳定性、动态分配算力、多芯异构混训,共五个方面的解决方案。过去互联网时代,服务器每台数万元...……更多
字节跳动向大模型大乱斗扔出一个豆包
... " 豆包 " 本身一共就有四个聊天窗口,但它们并不是各自训练方向不同的 bot。这可能体现了 " 豆包 " 最重视的几个能力:知识问答、多语言、情感分析以及多轮对话。它有些思辨能力:图源:AI 对话产品 " 豆包 "它可以写小红书...……更多
火山引擎发布大模型训练视频预处理方案 已应用于豆包
...0月15日消息,火山引擎在视频云技术大会上发布了大模型训练视频预处理方案。目前,该技术方案已应用于豆包视频生成模型。火山引擎总裁谭待在活动致辞表示,在AIGC、多模态等技术的共同推动下,用户体验在多个维度上经...……更多
豆包大模型1.5 Pro正式发布:比GPT-4o更强
...App全量上线。豆包大模型1.5Pro使用较小的激活参数进行预训练,训练成本极低,但性能不打折,采用大规模稀疏MoE架构,等效7倍激活参数的Dense模型性能,远超业内MoE架构约3倍杠杆的常规效率。官方强调,模型训练过程中,未...……更多
马斯克宣布训练“世界上最强大的人工智能” !万卡集群背后的算力竞赛迅猛升级
...重要里程碑,可能会引领AI训练和推理的新趋势。 2国内万卡集群已蔚然成风金融投资报记者注意到,在国内,字节跳动、阿里巴巴、百度、科大讯飞等也都在积极推动万卡集群的建设。比如,字节跳动搭建了一个12288张卡的训...……更多
独家|蚂蚁集团已建设超过万卡异构算力集群 【独家|蚂蚁集团已建设超过万卡异构算力集群】《科创板日报》9日讯,蚂蚁集团首席技术官何征宇表示,目前已形成包括大模型底层基础设施、基础大模型、行业大模型、应用产品...……更多
阿里云AI基础设施获2024世界互联网大会领先科技奖
...连接超过10万个GPU。在平台层,人工智能平台PAI,已实现万卡级别的训练推理一体化弹性调度,AI算力有效利用率超90%;湖仓一体化平台OpenLake,可提供大数据搜索、AI一体化能力体系;多模数据管理平台DMS,可实现跨云数据库、...……更多
借助大模型能力,晓多科技智能客服的效率与服务双提升
...”,还携手火山引擎,依托豆包大模型,进一步提升“AI 训练场”与“全渠道智能知识库”的智能化,全面升级智能客服能力。成都晓多科技有限公司成立于 2014 年,是以智能对话为核心的认知智能 SaaS 产品和行业数智化解决方...……更多
字节豆包大模型团队突破残差连接局限!预训练收敛最快加速80%
...tation Collapse)之间的权衡困境。在 Dense 模型和 MoE 模型预训练中,超连接方案展示出显著的性能提升效果,使收敛速度最高可加速 80%。自从 ResNet 提出后,残差连接已成为深度学习模型的基础组成部分。其主要作用是 —— 缓解...……更多
抖音豆包火爆,视觉中国沾光录得8天5板
...业应用场景的AI产品。目前,公司已经聚合了可供大模型训练的高质量、版权合规的训练数据集,图片超过2亿,视频近1500万,并为有需求的大模型方提供包括数据采集、标注、确权、授权的大模型数据训练解决方案。预计四季...……更多
张云泉:集中力量,促进国产AI大模型发展
...上升。目前,国内尚未有一家AI芯片公司的产品能够支持万卡并行大模型训练,更不用说未来的十万卡、百万卡甚至千万卡并行的挑战。其次,大模型落地所需要的配套软件、服务生态及市场缺乏投资、引导与建设,所需要的低...……更多
火山引擎ai大模型赋能千行百业成趋势
...面难以抉择。同时模型使用的成本也难以控制,包括模型训练和精调的算力成本、海量数据采集、清洗和标注的数据成本,以及专业算法人才的人力成本等。 同时,模型落地难度大也是痛点,很多企业缺少模型训练、推理、评...……更多
全面透视豆包:功能、版本、价格、优势、应用
...型 3. 语音大模型向量模型:模型精调是按 tokens 使用量(训练文本*训练迭代次数)计费,训练完成后出账,按量后付费。四、企业应用豆包优势大使用量:打造更优的模型效果每日千亿级tokens大使用量字节跳动内部50+业务场景...……更多
摩尔线程万卡GPU集群新进展!性能可提升20倍
...活且高效的基础设施支持。摩尔线程近期宣布了从千卡至万卡的全功能GPU智算集群扩展方案,双方此番合作就将聚焦于万卡级超大规模GPU智算集群的开发与优化。清程极智是一家致力于构建高效人工智能系统软件,赋能国产算力...……更多
类Sora模型能否理解物理规律?字节豆包大模型团队系统性研究揭秘
...模型是否准确?它能否泛化到新的情况,即那些不仅仅是训练数据插值的情形?这些问题至关重要,决定了生成图像的应用范围 —— 是仅限于媒体生产,还是可以用作现实世界的可靠模拟。最后他指出,不能简单地通过拟合大...……更多
加速规模化应用,火山引擎升级金融大模型服务体系
...案服务体系。算力:全新发布混合云veStack智算版,具有万卡集群组网,3.2T高性能无损网络的超大规模优势;端到端工程化所支撑的极致性能,能够实现97.78%训练加速比和分钟级故障发现和自愈;拥有多元异构能力,可适配十余...……更多
...传出“数据荒”的问题。经过两年的发展,汇聚了大规模万卡,甚至十万卡、五十万卡规模智算集群的算力,大模型并没有取得脱胎换骨级别的提升,还因为对抗性机器学习、对训练产生的冗余数据和干扰信息过拟合等原因产生...……更多
Llama3.1训练平均3小时故障一次,H100万卡集群好脆弱
每3个小时1次、平均1天8次,Llama 3.1 405B预训练老出故障,H100是罪魁祸首?最近有人从Meta发布的92页超长Llama 3.1论文中发现了华点:Llama 3.1在为期54天的预训练期间,经历了共466次任务中断。其中只有47次是计划内的,419次纯属意...……更多
超万卡集群让算力迈上新台阶
...本文转自:人民日报海外版黑龙江筑牢数字新基建底座超万卡集群让算力迈上新台阶本报记者 崔 佳 方 圆《 人民日报海外版 》( 2024年10月18日 第 08 版)中国移动智算中心(哈尔滨)万卡智算集群俯瞰图。采访对象供图工作人...……更多
摩尔线程与360达成战略合作,将共同打造“360智脑大模型一体机”
...夸娥(KUAE)智算集群解决方案从当前的千卡级别扩展至万卡规模。摩尔线程夸娥万卡智算集群以全功能 GPU 为底座,打造能够承载万卡规模、具备万 P 级浮点运算能力的国产通用加速计算平台,号称专为万亿参数级别的复杂大模...……更多
联合实验室的科研将基于字节跳动豆包大模型展开
...高校和企业的科研人员将在实验室内,重点围绕大模型的训练、推理等开展科研工作。随着实验室的建设和发展,还将有一批批北大学生进入实验室实习实践,和产业一线科研人员一起开展科研工作。IT之家注:字节跳动豆包大...……更多
更多关于科技的资讯:
驼奶粉行业峰会召开:京东超市与头部企业携手共建“安心驼奶粉”验证方案
10月20日,京东2025驼奶粉行业峰会在京召开,大会以“品质溯源、产业共生”为主题,聚焦行业痛点与机遇,通过多方联动促进产业链健康发展
2025-10-21 11:11:00
江西10家企业入选“中国VR50强企业”
本报讯(全媒体记者左阳天)10月19日,“2025中国VR50强企业”名单正式发布,这是“中国VR50强企业”名单连续第七年发布
2025-10-21 05:52:00
校地专场对接会上,我市一批“钢铁新农人”集中显身手“火眼金睛”识熟果 自动采摘不伤花□南京日报/紫金山新闻记者徐宁果园里
2025-10-21 07:44:00
青春华章 | 南京微短剧产业联盟成立,“攥指成拳”闯千亿级赛道
南京微短剧产业联盟成立,“攥指成拳”闯千亿级赛道共聚“微”光,好“剧”有戏□南京日报/紫金山新闻记者鲁舒婷近260家相关企业
2025-10-21 07:45:00
培育产业向“新”力 2025厦门国际时尚周圆满落幕
2025厦门国际时尚周在中山路举行,精彩活动吸引众多市民游客。“九球天后”潘晓婷亮相2025厦门国际时尚周。厦门国际时尚周助力首发经济
2025-10-20 08:56:00
总台文创“月兔趣集”数字资产盲盒上线乐数通
中秋佳节,为推动中华优秀传统文化在数字时代实现创造性转化与创新性发展,浙江文化产权交易所(以下简称 “浙江文交所”)携手中央广播电视总台“总台文创”
2025-10-20 14:50:00
向“新”求质 | 潍柴雷沃智慧农业领航智能农机加速出海
鲁网10月20日讯10月17日-10月18日,潍柴雷沃智慧农业2025年全球合作伙伴发展大会在青岛举行。25款明星机型组成的“全矩阵”智能装备军团震撼列阵
2025-10-20 16:39:00
鸢都家电狂欢“三联家电10.25海信来了”引爆金秋消费季
鲁网10月20日讯 金秋消费季迎来重磅炸弹!三联家电宣布将于10月24日至26日启动年度促销活动——“10.25海信来了”
2025-10-20 16:46:00
战略协同 产品赋能 运营提效丨潍柴雷沃智慧农业2025年全球合作伙伴发展大会召开
鲁网10月20日讯10月17日-18日,以“战略协同·产品赋能·运营提效”为主题的潍柴雷沃智慧农业2025年全球合作伙伴发展大会在青岛召开
2025-10-20 16:47:00
日前,中国联通、中国移动、中国电信相继宣布,已获得工信部批复,在全国范围开展eSIM手机业务商用试验。这标志着,移动手机彻底告别实体SIM卡的时代正在从愿景走向现实
2025-10-20 17:37:00
从山海通信到智慧出行: OPPO携多项技术创新成果亮相中国移动全球合作伙伴大会
日前,以“碳硅共生 合创AI+时代”为主题的2025中国移动全球合作伙伴大会在广州隆重举办。作为中国移动的重要合作伙伴
2025-10-20 20:00:00
从“黑色黄金”到“智慧矿藏”山东移动“海陆空”一体化擘画智慧油田新蓝图
在国家坚定不移推进能源安全新战略的时代背景下,我国能源行业的数字化转型正加速驶入深水区。在渤海之滨的东营,山东移动围绕胜利油田的智能化需求
2025-10-20 20:25:00
鲁网10月20日讯近日,国家数据局公布《2025年可信数据空间创新发展试点名单》,山东省唯一一个企业级国家试点项目——东营“华泰纸业可信数据空间创新发展试点”成功入选
2025-10-20 20:26:00
亿云信息案例成功入选2025年数字山东标准应用典型案例
近日,山东省大数据局公布2025年数字山东标准应用典型案例名单,山东科创旗下亿云信息报送的《亿云信息赋能企业数据资产入表服务标准化》案例成功入选
2025-10-20 20:20:00
匠心护航丨济宁移动圆满完成2025嘉祥圣德山野音乐节通信保障
鲁网10月20日讯10月18-19日,“共赴山野之约,让旋律在自然间共鸣”群星演唱会在嘉祥九顶山激情开唱,华语乐坛知名歌手轮番登台
2025-10-20 12:17:00