• 我的订阅
  • 头条热搜
LLM训练通信量减少10000倍!全新分布式优化器,整合世间算力训练强大AI
...search宣布了一项重大突破,通过使用与架构和网络无关的分布式优化器,研究人员成功将训练LLM时GPU间的通信量降低了1000到10000倍!如果可以使用世界上所有的算力来训练AI模型,会怎么样?近日,凭借发布了开源的Hermes 3(基...……更多
大模型新趋势之MoE:现状、挑战及研究方向
...器翻译性能。2020年,谷歌Gshard首次将MoE引入Transformer构建分布式并行计算架构,打开MoE发展新思路。之后,MoE逐渐进入规模发展阶段,作为一种底层架构优化方法,与Transformer结合,陆续被用于推荐系统、自然语言处理、计算机...……更多
新一代aigc技术的发展
...PFC相关的死锁问题,确保了网络的无缝和不间断的运行。分布式操作系统提高可靠性在DDC架构中,管理功能在网络控制卡(NCC)的控制下进行集中管理。然而,这种集中控制存在单点故障的潜在风险。为了减轻这个风险,DDC采用...……更多
腾讯Angel获世界互联网大会领先科技奖:让通信成本降低70%
...评选委员会点评腾讯Angel机器学习平台:突破万亿级模型分布式训练和推理以及大规模应用部署等难题。据了解,突破主要在通信、效率、规模三方面实现。通信:从网卡到交换机,再到路由协议,腾讯自研的RDMA网络实现了集群...……更多
用60%成本干80%的事,DeepSeek分享沉淀多年的高性能深度学习架构
...HaiScale:针对深度学习模型训练进行特别的优化 HaiScale 分布式数据并行(DDP)是一种以 HFReduce 为通信后端的训练工具。这类似于 Python 的以 NCCL 为后端的 DDP。在反向传播阶段,HaiScale DDP 会对计算出的梯度执行异步 allreduce ……更多
行业丨抢滩下一个高地,分布式云计算迎来黄金发展期!
随着技术的发展和市场的不断变化,分布式云计算正逐渐成为云计算领域的重要趋势。2024年,分布式云计算将继续保持强劲的发展势头,为企业和个人提供更加高效、灵活、安全的服务。同时,分布式云计算正迎来一个全新的...……更多
腾讯钟学丹:人工智能成为汽车行业新质生产力 推动数智化升级
...模型进化提供高性能、高带宽、低延迟的算力支持。腾讯分布式云原生调度总规模超过1.5亿核,并提供16EFLOPS的智算算力,不仅能服务于大模型训练,还将在自动驾驶等场景中充分应用。新一代HCC高性能计算集群,搭载最新次代G...……更多
国产GPU为底座,摩尔线程首个千卡智算中心落地
...ink1.0技术,MTT S4000可以支持多卡互联,助力千亿大模型的分布式计算加速。同时,MTT S4000提供先进的图形渲染能力、视频编解码能力和超高清8K HDR显示能力,助力AI计算、图形渲染、多媒体等综合应用场景的落地。尤为重要的是...……更多
Llama3训练每3小时崩一次?豆包大模型、港大为脆皮万卡训练提效
...统进行统一的 Checkpoint 管理以及性能优化带来了挑战。 分布式训练系统的用户面临多重困扰从训练系统的用户( AI 研究科学家或工程师)的角度出发,用户使用分布式训练系统时,在 Checkpoint 方向往往会被三个问题困扰:1)...……更多
大规模分布式系统架构:应对海量用户和数据的挑战
来源:极目新闻在数字化时代,大规模分布式系统已成为支撑许多互联网服务的核心。这些系统必须应对海量用户和数据的挑战,以提供高性能、高可用性和可扩展性的服务。本文将深入探讨大规模分布式系统架构的重要性以...……更多
鸿蒙x昇腾云:华为打造智能时代最佳AI基础设施
...供了源源不断的算力。朱勇刚表示,全新的鸿蒙生态具备分布式、全场景、原生智能等一系列新的特点,将为未来的服务生态、内容生态包等,激发出全新的创新焦点和活力,并能基于此打造全新的创新体验。鸿蒙不仅仅是一个...……更多
我国中科大团队在量子网络领域取得重要进展
...在合肥市区实现了跨越 7 公里的非局域量子门,并演示了分布式的 Deutsch-Jozsa 算法及量子相位估计算法。该成果 10 月 2 日发表在国际期刊《自然・通讯》上。▲ 图 1:跨越 7 公里的非局域量子门。a.量子节点分布地图和实验装置...……更多
和谐共生 建成绿美繁荣的韧性之城
...氢气”体系建设,积极利用太阳能等可再生能源。构建以分布式能源站、区域供冷系统集中生活热水系统为主的多层级综合分布式能源体系。推动产业升级,重点发展先进制造业和现代服务业。基于产业区块建设零碳工业园区,...……更多
...、量子计算与量子通信、现代移动通信网络、电力输送和分布式智能电力系统技术、储能系统和氢能、机器人和机电一体化组件技术、传感器技术、微电子和光子学、新材料、控制生物体特性的技术、生命科学中的分子工程、医...……更多
大模型观察|从训练到落地金融业,大模型“升级之路”面临哪些挑战?
...PT-3,用一张卡训练一个模型要耗时32年,所以业界引入了分布式训练的方法。所谓“内存”墙,则说的是千亿级参数完全加载到显存大概需要几个TB,单显卡的显存已经无法加载千亿级参数。此外,大模型并行切分到集群后,模...……更多
...高的实时性。未来该算法可应用于量子通讯、卫星通讯、分布式存储、6G通讯、智算中心等领域,在智算领域可以为人工智能(AI)和机器学习(ML)训练网络提供低延迟、高吞吐量和高带宽,在分布式存储领域可以大幅度提升全...……更多
Meta版慢思考来了!田渊栋团队整合快慢思考,能走迷宫推箱子
...acebook担任研究科学家,帮助Facebook建立了广告推荐模型的分布式训练系统。Sainbayar Sukhbaatar是FAIR的研究科学家,主要负责大模型推理和记忆方面研究。他曾先后在谷歌、DeepMind、Meta任职。Michael Rabbat是FAIR的创始成员之一。加入Me……更多
...战任务,已成为未来作战的重要发展方向。外军提出的“分布式作战”“马赛克战”等作战概念,内核就是利用在物理空间分散的各型作战装备,通过一体化作战网络,实现智能协同,达成“形散能聚”的作战效果。为此,无人...……更多
算网筑基 拥抱智能 中国联通重磅发布最新智算成果赋能产业发展
...冀、大湾区、粤港澳等重点区域间毫秒级超低时延。针对分布式训练推理场景,推出AI边缘一体机产品。目前已联合元景大模型推出了AI边缘一体机——“元景版”。提供包括数据处理、模型训练、算法部署、模型运营的AI产品服...……更多
...新型电力系统为着力点,推动新型能源体系建设。海量的分布式新能源、电动汽车、充电桩、分布式储能得到快速发展。一方面,源网荷储四维互动成为电力系统实时动态平衡的关键。另一方面,各类分布式新能源、负荷终端操...……更多
华为matex6将搭载全新的分布式玄武架构
...满悬念的视频,正式宣布其即将推出的MateX6将搭载全新的分布式玄武架构。视频中展示了高温炙烤、寒冰冷冻、刮擦测试、撞击挑战及悬挂重物等五个极端测试场景,暗示MateX6将拥有卓越的耐用性和抗造能力,这一特性在其前代...……更多
摩尔线程kuae千卡集群正式落地
...Link1.0技术,MTTS4000可以支持多卡互联,助力千亿大模型的分布式计算加速。同时,MTTS4000提供先进的图形渲染能力、视频编解码能力和超高清8KHDR显示能力,助力AI计算、图形渲染、多媒体等综合应用场景的落地。尤为重要的是,...……更多
布局颠覆性技术,领存突破MRD码复杂算法
...质量和效率。 使用网络编码和MRD技术,可以助力中国的分布式和云计算走到世界的最前沿,改变高端存储一直被海外巨头垄断的竞争格局。在分布式计算和云服务中,数据的同步和一致性是关键挑战之一,MRD码的强大纠错能力...……更多
户外探险必备!华为Mate60系列定义“卫星通信”体验标准
...,自然不能不提鸿蒙系统,这是一款全新的面向全场景的分布式操作系统,是基于Linux微内核开发的真正操作系统,与之前基于Android开发的EMUI不可同日而语。此外,华为还有独家的GPUTurbo技术、超聚光多镜长焦模组、XDPortrait人...……更多
济南能源集团“聚合式”虚拟电厂上线运行!
...高质量发展,利用新能源管理和资源整合方面的优势,将分布式光伏、充电桩、冷热负荷以及生产性企业等多种用电资源进行有效整合,建成了智能化的虚拟电厂。通过聚合、调控CBD蓄冷能源站、充电驿站、智能制造基地等可调...……更多
AI落地千行百业,存储痛点凸显,浪潮信息如何助力AI向实?
...MLPerf存储基准测试成绩发布,其中,中国企业浪潮信息的分布式存储平台AS13000G7,在图像分割模型3D-UNet和天文学模型CosmoFlow共计8项测试中斩获5项最佳成绩。这一平台在网络利用率上展现出20%左右的优势,断层领先。值得一提的...……更多
当算力=生产力,AI世界的生态如何构筑? ——首届AI Tech Day的思考
...智算中心子单元,从而最大限度满足不同模型阶段客户的分布式训练以及合作伙伴AI生态工具交付业务的需求。值得一提的是,由于提前介入算力硬件采购储备,英博数科并没有因为对华芯片限制受太大影响,反而超预期的完成...……更多
...域取得重要进展——基于固态量子存储实现跨越7公里的分布式光量子计算。研究成果近日发表在国际期刊《自然·通讯》( Nature Communications)上。上述研究成果由李传锋、周宗权、柳必恒等团队成员基于多模式固态量子存储和量子...……更多
智算云生态大会成功举办 天翼云探索迈入发展新阶段
...站式智算服务平台“慧聚”。在数据要素方面,依托国云分布式技术和资源,建设全域大数据湖并提供统一服务,“灵泽2.0数据要素平台”已为18个省市提供安全可信的服务,跨行业交易数据规模达到2PB/月。在大模型算法与应用...……更多
“遥遥领先”的端侧生成式AI!联发科MWC技术秀:还有百兆卫星通信、6G环境计算
...i AI扩图,等等。 “Gen-AI compute as One”也很有意思,有点分布式计算的味道,只要在家里安装分布式接入点,就可以通过Wi-Fi,共享不同设备的算力,包括手机、PC以及各种算力终端。系统会自动获取不同设备的算力负载和资源...……更多
更多关于科技的资讯:
《封神2》口碑争议大:有人打满分有人打零分 观众批评剧情狗血
快科技1月30日消息,春节假期休息的你去电影院看片了吗,如果去看会首选《封神第二部:战火西岐》吗?1月29日,《封神第二部:战火西岐》在春节档上映
2025-01-30 23:38:00
撒贝宁浓重眉毛冲上热搜 为啥人的眉毛这么重要
2025 年央视春晚上,撒贝宁因眉毛过粗登上热搜,被网友戏称为“浓眉大眼”以及“蜡笔小新同款眉”。就连撒贝宁自己也在节目里吐槽了这个梗
2025-01-30 23:38:00
7片三折扇叶!影驰RTX 5080圣刃OC显卡图赏
快科技1月30日消息,影驰最新发布了RTX 5080圣刃OC显卡。现在这款新品已经来到我们评测室,下面为大家带来图赏。影驰RTX 5080圣刃OC显卡搭配刃式装甲进行外观设计
2025-01-30 23:38:00
几何秩序美!索泰RTX 5080 16GB SOLID OC显卡图赏
快科技1月31日消息,索泰RTX 5080 16GB SOLID OC显卡现已发布。现在这款新品已经来到我们评测室, 下面为大家带来图赏
2025-01-31 07:38:00
经典的红黑配色!耕升RTX 5080追风OC显卡图赏
快科技1月31日消息,耕升RTX 5080追风显卡正式发布,为游戏玩家带来了新一代利器。现在这款新品已经来到我们评测室
2025-01-31 07:38:00
春节档最新预测票房:《哪吒》破50亿超第一部《射雕》仅8亿
快科技1月31日消息,据灯塔AI显示,影片《哪吒之魔童闹海》预测票房上调至50.5亿。2019年上映的《哪吒之魔童降世》最终票房为50
2025-01-31 07:38:00
给一整个国家加上杠杆:家电补贴都改变了什么
家电补贴,是最近几个月横贯在所有国内消费者心中的一个词,似乎每次遇到国内经济状况面临较大压力时,家电补贴都会强势上线。它就像一个终极版本答案一样
2025-01-31 08:08:00
人类计时器“天花板” 这种钟的误差可以达到3000亿年只差1秒
发现并归纳元素周期律的门捷列夫曾经说过,“科学是从测量开始的”,这句话的意思是说,没有精密测量就没有现代自然科学,而测量精度的提高往往会带来新的科学规律发现
2025-01-31 08:08:00
“大家值班辛苦了,今天的情况怎么样?”1月29日8时30分,雄安城市计算中心内的雄安云网科技有限公司(以下简称“雄安云网公司”)总经理助理曹英走进雄安城市计算中心地下一层的智能城市运维中心
2025-01-31 08:37:00
雷峰塔下真的有压了千年的白色虫子:发现时还活着
1月31日消息,看完蛇年春晚《借伞》,唤醒了人们对《白蛇传》这一经典传说的美好记忆,也让杭州这座充满浪漫与传奇色彩的城市再次成为众人瞩目的焦点
2025-01-31 08:38:00
本田调整组织架构:整合软件定义汽车业务 新增汽车开发部门
快科技1月31日消息,快科技1月31日消息,据媒体报道,本田技研宣布将于2025年4月1日起进行一系列组织和运营改革。据悉
2025-01-31 08:38:00
DeepSeek向中国科技公司发倡议:携手抵抗美国打压!官方回应
快科技1月31日消息,近日网上流传了一份DeepSeek母公司深度求索发出的倡议书,其中号召中国科技公司团结起来。从倡议书中可以看到
2025-01-31 09:08:00
优派新款23.8寸显示器仅399元:1080P 144Hz高刷屏
快科技1月31日消息,优派推出了新款23.8寸显示器VA24G25,首发仅399元。这款显示器配备23.8寸IPS面板
2025-01-31 09:38:00
40多万才买1年的奔驰车被烧毁 女车主淡定比耶拍照:发言更是绝
1月31日消息,据国内媒体报道称,近日在江西九江都昌县,一辆尼桑车停在鞭炮灰烬上起火,殃及旁边的奔驰车,导致两车烧毁。上述事件也是引发了网友的热议
2025-01-31 09:08:00
影驰GeForce RTX 5080圣刃OC显卡评测:小尺寸高性能 高端玩家完美之选
一、前言:更贴近游戏玩家需求的准旗舰显卡NVIDIA在2025年开年推出了全新的GeForce RTX 50系显卡,旗舰级别的GeForce RTX 5090 D价格直接来到了16000元之上
2025-01-30 22:38:00