• 我的订阅
  • 头条热搜
Llama3训练每3小时崩一次?豆包大模型、港大为脆皮万卡训练提效
伴随大模型迭代速度越来越快,训练集群规模越来越大,高频率的软硬件故障已经成为阻碍训练效率进一步提高的痛点,检查点(Checkpoint)系统在训练过程中负责状态的存储和恢复,已经成为克服训练故障、保障训练进度和提...……更多
字节跳动豆包大模型发布,火山引擎全栈AI服务助力企业智能化转型
...需求,火山引擎也全新发布了混合云veStack智算版,具有万卡集群组网,3.2T高性能无损网络的超大规模优势;端到端工程化所支撑的极致性能,能够实现97.78%训练加速比和分钟级故障发现和自愈;拥有多元异构能力,可适配十余...……更多
国产GPU万卡集群终于来了!摩尔线程CEO张建中:做难而正确的事
作者 | ZeR0编辑 | 漠影“AI主战场,万卡是最低标配!”在2024世界人工智能大会开幕前夕,摩尔线程创始人兼CEO张建中抛出一句掷地有声的断言。为什么必须是万卡?大模型行业变化很快,客户希望两周内结束战斗,最迟也得在1...……更多
当大模型Scaling Law继续,万卡集群算力释放在百舸找到一条通途
...近年来国内外科技厂商纷纷布局 AI 算力基础设施,死磕万卡甚至 10 万卡集群。此外,大规模算力集群也越来越凸显训推一体的重要性,寻求在同一个集群中无缝切换大模型的训练和推理,简化用户部署流程。虽然 GPU 集群可以...……更多
重磅!TeleAI 完成首个全国产化万卡万参大模型训练
...人工智能研究院(TeleAI)成功完成国内首个基于全国产化万卡集群训练的万亿参数大模型(万卡万参),并正式对外开源首个基于全国产化万卡集群和国产深度学习框架训练的千亿参数大模型——星辰语义大模型 TeleChat2-115B。这...……更多
首个国产单池万卡液冷算力集群投入运营,满足万亿级大模型训练需求
天翼云上海临港国产万卡算力池正式启用。3月22日,中国电信宣布,天翼云上海临港国产万卡算力池正式启用,同时入驻首批用户。这是国内首个投入正式运营的国产单池万卡液冷算力集群,也是业内领先的全国产化云智一体...……更多
算力浪费超50%!百度AI计算部负责人拆解大模型时代的算力成本
...鹏向媒体解读了大模型时代的算力成本。为了有效降低AI万卡集群的算力开支,他提出搭载RDMA网络、自动并行策略、保证训练稳定性、动态分配算力、多芯异构混训,共五个方面的解决方案。过去互联网时代,服务器每台数万元...……更多
马斯克宣布训练“世界上最强大的人工智能” !万卡集群背后的算力竞赛迅猛升级
...重要里程碑,可能会引领AI训练和推理的新趋势。 2国内万卡集群已蔚然成风金融投资报记者注意到,在国内,字节跳动、阿里巴巴、百度、科大讯飞等也都在积极推动万卡集群的建设。比如,字节跳动搭建了一个12288张卡的训...……更多
独家|蚂蚁集团已建设超过万卡异构算力集群 【独家|蚂蚁集团已建设超过万卡异构算力集群】《科创板日报》9日讯,蚂蚁集团首席技术官何征宇表示,目前已形成包括大模型底层基础设施、基础大模型、行业大模型、应用产品...……更多
借助大模型能力,晓多科技智能客服的效率与服务双提升
...”,还携手火山引擎,依托豆包大模型,进一步提升“AI 训练场”与“全渠道智能知识库”的智能化,全面升级智能客服能力。成都晓多科技有限公司成立于 2014 年,是以智能对话为核心的认知智能 SaaS 产品和行业数智化解决方...……更多
火山引擎ai大模型赋能千行百业成趋势
...面难以抉择。同时模型使用的成本也难以控制,包括模型训练和精调的算力成本、海量数据采集、清洗和标注的数据成本,以及专业算法人才的人力成本等。 同时,模型落地难度大也是痛点,很多企业缺少模型训练、推理、评...……更多
全面透视豆包:功能、版本、价格、优势、应用
...型 3. 语音大模型向量模型:模型精调是按 tokens 使用量(训练文本*训练迭代次数)计费,训练完成后出账,按量后付费。四、企业应用豆包优势大使用量:打造更优的模型效果每日千亿级tokens大使用量字节跳动内部50+业务场景...……更多
张云泉:集中力量,促进国产AI大模型发展
...上升。目前,国内尚未有一家AI芯片公司的产品能够支持万卡并行大模型训练,更不用说未来的十万卡、百万卡甚至千万卡并行的挑战。其次,大模型落地所需要的配套软件、服务生态及市场缺乏投资、引导与建设,所需要的低...……更多
加速规模化应用,火山引擎升级金融大模型服务体系
...案服务体系。算力:全新发布混合云veStack智算版,具有万卡集群组网,3.2T高性能无损网络的超大规模优势;端到端工程化所支撑的极致性能,能够实现97.78%训练加速比和分钟级故障发现和自愈;拥有多元异构能力,可适配十余...……更多
摩尔线程万卡GPU集群新进展!性能可提升20倍
...活且高效的基础设施支持。摩尔线程近期宣布了从千卡至万卡的全功能GPU智算集群扩展方案,双方此番合作就将聚焦于万卡级超大规模GPU智算集群的开发与优化。清程极智是一家致力于构建高效人工智能系统软件,赋能国产算力...……更多
火山引擎丢出视频大模型「王炸」,云厂商从「价格战」回归「卷性能」
...比如通过⾼效的 DiT 融合计算单元、全新设计的扩散模型训练⽅法和深度优化后的 Transformer 结构,让整个⽣成视频的动作更灵动、镜头更多样、细节更丰满。同时抖音、剪映对视频的理解也是优势。「剪映对视频的理解、对豆包...……更多
Llama3.1训练平均3小时故障一次,H100万卡集群好脆弱
每3个小时1次、平均1天8次,Llama 3.1 405B预训练老出故障,H100是罪魁祸首?最近有人从Meta发布的92页超长Llama 3.1论文中发现了华点:Llama 3.1在为期54天的预训练期间,经历了共466次任务中断。其中只有47次是计划内的,419次纯属意...……更多
豆包“王炸”:字节跳动一天发布两款视频生成大模型
...缩放、目标跟随等多镜头语言能力。全新设计的扩散模型训练方法更是攻克了多镜头切换的一致性难题,在镜头切换时可同时保持主体、风格、氛围的一致性,这也是豆包视频生成模型独树一帜的技术创新。 经过剪映、即梦AI...……更多
AI出图更快、更懂你心意,高美感文生图模型修炼了哪些技术秘籍?
...,最终入库了千亿量级的高质量图像。此外,团队还专门训练了一个多模态大语言模型进行 recapiton 任务。这个模型将更加全面、客观地描述图片中图像的物理关系。有了高质量高细节的图文对数据之后,想要更好地发挥出模型...……更多
摩尔线程与360达成战略合作,将共同打造“360智脑大模型一体机”
...夸娥(KUAE)智算集群解决方案从当前的千卡级别扩展至万卡规模。摩尔线程夸娥万卡智算集群以全功能 GPU 为底座,打造能够承载万卡规模、具备万 P 级浮点运算能力的国产通用加速计算平台,号称专为万亿参数级别的复杂大模...……更多
字节跳动清华AIR成立联合研究中心 推动大模型产学研合作
...心 (SIA Lab) ” 在清华大学举行成立仪式。SIA Lab 聚焦预训练大语言模型技术,致力于发展更为通用与可扩展的智能系统,提升智能技术在互联网以及更多场景、更复杂任务中表现能力。清华AIR院长张亚勤院士,清华大学科研院...……更多
...号为“种子计划”(ProjectSeed)的基础大语言模型,包括训练和评估模型。参与“种子计划”的员工都深知这一行为的不良影响。根据字节跳动员工在内部通讯平台飞书海外版Lark的聊天记录,他们讨论了如何通过“数据脱敏”来...……更多
全国首个国产液冷万卡算力集群启动建设:总算力超4500P!
...到达15000卡,总算力超4500P。其中,单池新建国产算力达万卡,是国内首个超大规模国产算力液冷集群。该集群采用新一代国产AI算力,实现了全栈自主创新和技术突破,通过高速RDMA(远程直接数据存取)连接各物理机节点,提...……更多
实时对话的耳机要来了?“摸着PICO过河”,字节借“豆包”重拾硬件梦
... Amodei)也在一档播客中透露,目前公司正在开发的AI模型训练成本高达10亿美元。他预计,AI模型的训练成本将在2027年之前提升到100亿美元,甚至是1000亿美元。原本就高昂的训练成本还在持续上涨,但从短期来看,变现效果不甚...……更多
将文档共享给字节跳动训练豆包AI?WPS:不实信息
...公软件WPS Office针对用户反映的“将文档共享给字节跳动训练豆包AI”问题作出回应。回应内容:近日有部分用户反馈WPS AI相关问题,我们第一时间进行了严格排查及用户沟通,相关问题完全失实。我们做出如下说明:第一,我们...……更多
全面AIGC时代,豆包模型家族准备好了
...术家们提供创作辅助。同时,在技术层面全新的扩散模型训练方法攻克了多镜头切换的一致性难题,在镜头切换时可同时保持主体、风格、氛围的一致性,可10秒讲述一个起承转合的故事。在一个prompt的多个镜头切换时,保持主...……更多
...总结了大模型实践过程中的十大难题:在训练上,面临着万卡/十万卡集群分布式训练及可靠性的挑战;在推理上,需解决面向LLM长文本生成的高效解码的挑战;在高效资源利用方面,面临着AI集群碎片资源利用及全局作业最优调...……更多
Kimi、豆包发力AI搜索入口,打响轻量化之争
...。但另一方面,无论走哪个路径探索商业变现,都需要为训练大模型而付出高昂的算力成本。国盛证券曾估算,要打造对标ChatGPT的大模型,投入约10亿元才是入场券。此外,训练大模型还需要将数据集进行重复多轮计算处理,算...……更多
终于拿到内测!豆包-PixelDance真是字节视频生成大杀器
...缩放、目标跟随等多镜头语言能力。全新设计的扩散模型训练方法更是攻克了多镜头切换的一致性难题,在镜头切换时可同时保持主体、风格、氛围的一致性,这也是豆包视频生成模型独具特色的亮点。前些天,豆包视频生成模...……更多
Sora概念盘中拉升,字节跳动或将与OpenAI短兵相接
...两者都在不断提升自身的技术实力,通过算法优化和模型训练来提升视频生成的质量和效率。与此同时随着AI视频生成技术的不断成熟和普及,市场份额的争夺将变得更加激烈。 数据显示,今年上半年,国内AI相关招投标市场招...……更多
更多关于科技的资讯:
小鹏汽车法务部发力:男子造谣首例智驾致死案宣判被刑拘
快科技2月19日消息,为了博流量吸粉,有些人会铤而走险造谣传谣,然而一旦被追究责任,后果相当严重。媒体报道,2月12日
2025-02-19 10:26:00
iPhone SE 4明天登场:64G起步 苹果要涨价
快科技2月19日消息,苹果将于明天正式发布iPhone SE 4(也可能命名为iPhone 16e)。据爆料,iPhone SE 4外观跟iPhone 14接近
2025-02-19 10:26:00
10万不得卖爆!比亚迪海豹06旅行版方案确认:配悬浮式D柱
快科技2月19日消息,旅行车,兼具了SUV的装载能力以及轿车的乘坐舒适性,在欧洲国家尤其受欢迎,各个品牌均有相关产品布局
2025-02-19 10:26:00
本文转自:人民网-安徽频道近年来,宁国市聚焦数字产业化和产业数字化,积极推进5G、工业互联网等网络基础建设,加速推进制造业向数字化
2025-02-19 10:37:00
天府阔步,留学新征途!高途留学成都分公司正式开业
2月18日,备受期待的高途留学成都分公司正式开业。高途留学成都分公司位于成都地标性建筑国际金融中心(成都IFS)2号办公楼12层
2025-02-19 10:46:00
Smart精灵电动车地库起火:一旁路虎车跟着躺枪
快科技2月19日消息,有博主分享的视频显示,一辆沪A牌照的Smart精灵电动车在地库发生起火事故。视频中,这辆Smart精灵电动车底盘窜出大量明火
2025-02-19 00:56:00
太气人!网友全额购RTX 5080遭商家坐地起价:加钱退货二选一
快科技2月18日消息,NVIDIA新一代RTX 5090和RTX 5080显卡由于货源稀少,几乎在全球所有区域都出现缺货或者涨价的情况
2025-02-18 18:56:00
宁波市消保委发布“大路灯”比较试验结果:“适璞”落地灯电气安全项目不符合要求
中国消费者报杭州讯(记者郑铁峰)“最接近日光的照明体验”“让孩子的用眼环境更加舒适”……近年来,作为新兴的护眼灯具产品
2025-02-18 11:13:00
昆仑万维开源中国首个面向AI短剧创作的视频生成模型SkyReels-V1,重塑AI短剧行业格局
2月18日,昆仑万维开源中国首个面向AI短剧创作的视频生成模型SkyReels-V1、中国首个SOTA级别基于视频基座模型的表情动作可控算法SkyReels-A1
2025-02-18 11:13:00
橘子冒烟小心肺部真菌感染:大量孢子形成烟雾
快科技2月18日消息,按压橘子冒烟是咋回事?据报道,这通常是因为霉菌繁殖产生的孢子扩散。霉菌成熟后会产生大量孢子,当微小的孢子在空气中扩散时
2025-02-18 11:25:00
路遇限宽墩司机不敢开:打开智驾寻求最强外援
快科技2月18日消息,日常生活中我们开车时可能会遇到限宽墩,每当这个时候,不少新手司机都觉得眼前一黑,不敢通过。而当前新能源汽车越发加宽
2025-02-18 11:25:00
“两新”政策赋能,太原电子产品市场“热”力全开
消费日报网讯(记者 刘自昌)2025年,作为 “十四五” 规划收官与 “十五五” 规划谋划的承上启下之年,意义非凡。在这一关键节点
2025-02-18 11:32:00
30家轻工企业入选工信部实数融合典型案例
本报讯 近日,工业和信息化部公布了2024年实数融合典型案例名单,235个案例上榜。轻工行业“成绩单”亮眼,共有30家企业榜上有名
2025-02-18 11:32:00
漫评丨这些机器人企业“代言”苏州新质生产力
□秦柳青在今年总台央视春晚上,人形机器人的“赛博秧歌”实力出圈了。在苏州,人形机器人不仅能“炒菜浇花”,还能“进厂打工”
2025-02-18 11:36:00
联通数科墨攻安全运营服务平台,护航亚冬安全,彰显卓越实力
2025年2月7-14日,第九届亚洲冬季运动会在哈尔滨隆重举办,这场冰雪盛会吸引了全球目光。作为本届亚冬会的官方通信及云服务合作伙伴
2025-02-18 11:45:00