• 我的订阅
  • 科技

腾讯推出了一条大模型“高速公路”,大模型通信性能可提升10倍 | 最前线

类别:科技 发布时间:2023-06-30 15:28:00 来源:36氪

作者 | 邓咏仪

编辑 | 苏建勋

你在和AI机器人的对话框中,敲下一行想问的问题:现在你是一位英语老师,请帮我写一封邮件……

AI机器人的回复光标,在对话框中闪动数秒——这几秒背后,是AI大模型正在经历一轮高速而密集的计算过程。

顾名思义,“AI大模型”指拥有巨大的参数量的模型,其训练和推理也需要巨大算力挑战。这对底层基础设施:芯片、网络、存储、计算的要求,达到了前所未有的高度,迫使基础设施经历一轮升级。

腾讯推出了一条大模型“高速公路”,大模型通信性能可提升10倍 | 最前线

腾讯云副总裁、腾讯云网络总经理王亚晨

近日,腾讯云就首次对外完整披露自研高性能计算网络“星脉”,专门面向AI大模型训练。

高性能计算计算网络如同AI大模型的“高速公路”和管道,数据在其中快速流动、交换。高性能计算网络连接了大量的服务器,组成算力集群。网络、服务器互联互通,才能共同完成AI的训练任务。

但大集群并不等同于大算力。计算集群越大,产生的额外通信损耗越多。因此,对AI大模型的网络而言,大带宽、高利用率、信息无损,是其面临的核心挑战。

腾讯云自研的“星脉”,是服务于AI大模型的专属高性能计算网络。在交换机、通信协议、通信库以及运营系统等方面,腾讯在软件和硬件层面,都进行了升级和创新。

就具体参数而言,腾讯云的“星脉”网络支持单服务器从1.6T升级到3.2T,这如同将“高速公路”拓宽了两倍,能传输更多的数据。

带来的计算效果提升也是明显的。据腾讯云,“星脉”能够提升40%的GPU利用率,节省30%-60%的模型训练成本,为AI大模型带来10倍的通信性能提升。

腾讯推出了一条大模型“高速公路”,大模型通信性能可提升10倍 | 最前线

来源:腾讯云

事实上,从传统的计算网络到如今的高性能网络,都是由关键的技术革新所驱动的。

以腾讯自身为例,腾讯的计算网络发展也经历了三大阶段:

一、互联网服务时期:腾讯的起家产品QQ和微信,促使腾讯建立起了一张的巨大的计算网络。就以QQ为例,在线时长超过1亿,对应的服务器规模就超过了10万。“此时,网络的走向是比较常见的’南北向流量‘——也就是外部的用户的访问需求为主。”腾讯云副总裁、腾讯网络平台部的总经理王亚晨表示。

二、云服务时期:腾讯云不仅要服务自家的业务需求,也开始对外向企业提供云服务。此时,底层计算网络的形态也会发生变化。

购买云算力的企业用户,相当于在腾讯云上“租”了一个个小房子。云时代需要传输的数据,也不只是外部访问需求(比如C端用户要看电影、购物等),而是出现了大量“东西向”流量。

数据中心之间的互访流量越来越多——比如企业用户需要调用自己在云上的各类数据,这些数据存放在腾讯云不同的格子中。这对网络要求也更高,比如时延要求比以前是10倍甚至更高提升。

三、AI大模型时期:到了大模型时期,训练大模型需要巨量的数据和算力,这对计算网络的带宽需要经历再一次提升。

比起外部访问的流量,AI大模型的从开发到应用主要会分为两个阶段,在训练阶段,大模型的网络需求,大多来自以服务器和服务器之间的流量——也就是“东西向”流量为主,而非以前的外部访问流量。

“如果说过去前两个阶段,我们是村村通,解决大规模部署和广覆盖的问题,到了第三个阶段的星脉网络,我们解决的是高速公路,全自动化、无拥塞的高速公路。”王亚晨打了个比方。

通用AI大模型的GPU算力基本要到数千张甚至万卡级别。如何在服务器中部署这样的“高速公路”?

王亚晨表示,腾讯云主要通过自研设备搭建告诉公路,包括自研的交换机、光模块等,可以做到更快迭代。

腾讯也给每台服务器配备了高性能通信库TCCL,相当于“导航”,感知到网络拓扑,感知到路径的拥塞情况,做一些通信加速。腾讯也自研了端网协同的TiTa协议,这相当于在出现拥塞问题时,让数据重新“排队”通过。

而对于整个计算网络,“星脉”配置了全栈网络运营系统,进行验收部署、故障处理和问题定位。对大规模服务器集群的管理需要长时间的积累,王亚晨表示,最早腾讯做一个定位都是以天为级别的,但如今星脉可以实现故障的自动诊断,可以把时间降到分钟级。

在“星脉”高性能计算网络基础上,如今腾讯已经进行大模型的相关训练。以万亿参数大模型为例,在前年,100G网络训练相同数据需要50天;但在今年上半年,腾讯用七天时间就可以完成相同的训练。

王亚晨表示,在未来,随着数据集、参数不断增加,腾讯也有计划推出星脉2.0版本,包括GPU的互联规模、带宽、计算加速等等环节。“到下半年,我们可能就会推出互联数据达到800G、1.6T带宽的解决方案。

以上内容为资讯信息快照,由td.fyun.cc爬虫进行采集并收录,本站未对信息做任何修改,信息内容不代表本站立场。

快照生成时间:2023-06-30 18:45:08

本站信息快照查询为非营利公共服务,如有侵权请联系我们进行删除。

信息原文地址:

中国高速公路信息化大会在合肥举行 腾讯首提“分布式云+公路操作系统”架构
大皖新闻讯 3月28日,第二十六届中国高速公路信息化大会在合肥举行。大会期间,腾讯联合中国公路学会举办“高速公路高精度数字底座构建”主题论坛,在业内首次提出“分布式云+公路操作系
2024-03-28 22:48:00
...:广西日报首届广西数字政府应用场景建设竞赛举行广西高速公路养护管理一体化平台荣获三等奖龚 宇 赵雅丽本报南宁讯 近日,由自治区高速公路发展中心、广西交通设计集团有限公司联合申
2024-03-13 07:41:00
数字孪生,拓展产业新空间(网上中国)
...在安徽省G4211宁芜高速皖苏界至芜湖枢纽段,一条崭新的高速公路正在建设中。与传统的高速公路不同,这条高速从规划设计开始就采用了数字孪生技术,由安徽省交控建设管理有限公司联合
2023-10-23 04:51:00
...做大做优全省数字经济。“数实”相融赋能产业转型全省高速公路通车里程8000多公里,如何做好道路实时安全监测、险情预警和调度?贵州高速公路集团党委副书记、副董事长、总经理张胤的
2023-12-26 06:14:00
...限,近年很多引发外界对于辅助驾驶讨论的事故都发生在高速公路维修路段。“车企还没有认真对待道路维修工况,比如AEB对于锥桶、水马等无法正常响应,根源在于对于这样的场景训练不足。
2025-04-08 21:58:00
本文转自:人民网-浙江频道最新高速公路技研产品亮相浙高运公司:绘就高速公路数智化转型蓝图“我们今年继续迭代升级了‘高瞳’,现在的高瞳视频事件监测系统Nova的事件检测算法完全是由
2024-12-08 17:01:00
百度智能云携手河北高速集团  探索公路数字化升级  助力交通强国建设
...济蓬勃发展提供强牵引力。作为智慧高速的探索者,河北高速公路集团有限公司(简称“河北高速集团”)联合百度智能云,基于百度大模型通用能力,持续开展公路行业创新探索,加快形成助推行
2024-05-07 19:29:00
山东高速集团高速公路出行大模型在线客服系统上线
近日,山东高速集团高速公路出行大模型在线客服系统成功在“山东高速智慧出行”微信应用程序中上线。这是集团基于人工智能大模型技术上线的高速出行在线客服应用,也是集团持续提升公众服务质
2024-07-17 15:32:00
· 丰富应用场景 自动驾驶奔向“车路云”协同
...苏州,首条满足车路协同式自动驾驶等级的全息感知智慧高速公路已投入使用。四是标准化取得进展。起草或发布了9项技术标准,支撑自动驾驶产业发展,如车路协同系统路侧基础设施总体技术要
2023-11-20 08:09:00
更多关于科技的资讯:
中新经纬10月31日电 国家发展改革委政策研究室副主任、新闻发言人李超表示,鼓励小、散、低效的存量算力设施向集约化、高效率转变
2025-10-31 13:34:00
企业选型终极指南:基于预算与行业,中国GEO服务商推荐(附TOP10指标对比)
在AI重构流量分配规则的2025年,生成式AI搜索优化(GEO)已成为企业不可或缺的战略投入。然而,面对市场上众多的GEO服务商
2025-10-31 11:00:00
增压好的热水器推荐:万和多款热水器待你选择
在城镇化加速与高层住宅普及的当下,老旧小区管道老化、高层建筑水压衰减等问题愈发突出,不少家庭正遭受 “细流澡”“忽冷忽热” 的沐浴困扰
2025-10-30 08:16:00
创新,是让世界重新认识中国制造
“创新”,这个词我们每天都在说。要让世界记住中国制造的创新,一定是要让人们能看得见、记得住、感受到。我给大家分享几个小故事
2025-10-30 08:35:00
河北日报讯(记者孙青)为激发青年创业活力,点燃青年创业梦想,日前,团石家庄市委正式启动“青年创业训练营——青年小店孵化计划”
2025-10-30 08:36:00
当故宫的红墙金瓦凝缩成书签的精致纹路,当敦煌的飞天壁画跃然咖啡杯的杯身,博物馆中的千年文明正通过文创产品打开新的传承通道
2025-10-30 08:44:00
校宝智慧校园发布招生智能化解决方案,为民办教育注入增长新动能
2025年10月29日,校宝智慧校园正式推出面向民办、国际化学校的招生智能化解决方案,包含流量获取、线索转化、组织建设与数据决策四大核心板块
2025-10-30 09:10:00
Soul App开源播客语音合成模型SoulX-Podcast,支持流畅自然多轮语音对话
近日,Soul App AI团队(Soul AI Lab)正式开源播客语音合成模型SoulX-Podcast。该模型是一款专为多人
2025-10-30 09:10:00
服务效能持续提升 中老年多元化保障需求凸显近日,中宏保险正式发布了《2025年第三季度中宏保险个险理赔服务报告》(以下简称"报告")
2025-10-30 09:10:00
AI+人工双核验:深瞳查重如何以精准核查守护科研诚信
在科研诚信日益重要的今天,图片查重已成为维护科研诚信的关键环节手段。作为国内首家推出图片查重服务的深瞳查重,深瞳查重始终将结果的准确性和可靠性放在首位
2025-10-30 09:10:00
德明利亮相安博会,推出面向智能安防的多维度存储解决方案
10月28日,深圳CPSE安博会在福田会展中心顺利开幕,展会聚焦AI与大数据的智能安防创新。德明利携工业级存储产品及多维矩阵方案亮相
2025-10-30 09:10:00
碧欧宝亮相2025德国品牌周,于外滩百年地标演绎德式健康美学
2025年10月23日,由德国工商总会主办的“Discover Germany 德国品牌周”在外滩百年地标老市府隆重启幕
2025-10-30 10:10:00
留学常用APP与交友软件推荐:学习、生活、社交一站式搞定
即将远赴海外求学,除了收拾行囊,在手机里提前装好实用的留学APP,也成了许多准留学生的必备功课。面对应用商店里海量的留学常用APP选择
2025-10-30 10:56:00
工商银行联合腾讯云发布《中国金融生成式AI多模态内容鉴伪与安全防御白皮书(2025)》
随着生成式人工智能浪潮全面兴起,金融行业在加速迈向“AI原生”时代的同时,也面临多模态深度伪造内容带来的新型安全挑战。利用生成式AI合成的语音
2025-10-30 12:08:00
片仔癀黄芩多肽洗护新品亮相漳州,以东方智慧开启舒缓新“净”界
10月23日,东方新国妆代表品牌——片仔癀化妆品,在品牌发源地漳州隆重举办黄芩多肽系列新品发布会。活动以“亮剑·向新而生”为主题
2025-10-30 12:11:00