• 我的订阅
  • 头条热搜
微调大模型,AMD MI300X就够了!跟着这篇博客微调Llama 3.1 405B
...重的更新。 使用 lax.dot_general 进行快速、精确控制的矩阵运算。 LoRA 输出在添加到主输出之前会被缩放为 (self.lora_alpha/self.lora_rank)。 LoRADense 层在此设定一个自定义的 LoRADense 层……更多
万字技术干货!LLM工程师必读量化指南,可视化图解揭秘大模型如何压缩
...,然后再进行优化。如何表示数值数值存储的形式通常是浮点数(floting point number,或简称为floats):一个带有小数点的正数或负数。这些值由每一位(bit)上的二进制数字表示。IEEE-754标准描述了每一位上的数字如何表示具体...……更多
...赶。新一代嵩山超级计算机,每秒可进行10亿亿次双精度浮点运算,河南大学王家耀团队“时空大数据基础算法”、郑州大学徐明亮团队“智能群体行为模型”、嵩山实验室张建辉团队“空间智能融合感知算法”等技术水平在国...……更多
Yandex推出开源大语言模型训练工具,称可节省高达20%的图形处理器资源
...球科技公司Yandex推出了YaFSDP,这是一种用于训练大型语言模型(LLM)的开源方法。据介绍,YaFSDP是目前在大型语言模型训练中增强图形处理器(GPU)通信并减少内存使用量的公开可用的最有效工具,与FSDP相比,根据架构和参数数量...……更多
圆桌|AI成汽车产业新支点,业内称最缺的是算力基础设施
...起步的算力是1 EFLOPS(相当于计算机每秒执行10的18次方次浮点运算),车企必须在算力上投入巨资,而且要持续投入,围绕着数据、算力、算法形成规模化团队,“没有几千或者是上万张卡的算力集群,没有一两千甚至几千、上...……更多
Redmi K70E安兔兔跑分突破152万
...成了MediaTekAI处理器APU780,搭载生成式AI引擎,整数运算和浮点运算的性能是上一代的2倍。支持Transformer算子加速和混合精度INT4量化技术,AI综合性能是上一代的3.3倍,可流畅运行终端侧生成式AI的创新应用。除了搭载天玑8300-Ultra...……更多
大模型观察|从训练到落地金融业,大模型“升级之路”面临哪些挑战?
迎着技术风口,2024年将是AI大模型应用的浪潮年。业界认为,大模型将对金融业产生长远的、深刻的影响。1月28日,针对大模型在各业务场景的应用成效、对大模型算力的开发和提升,多机构向北京商报记者透露了自研大模型...……更多
...设计。FP8是一种超低精度数值格式,与传统的FP16(半精度浮点数)和FP32(单精度浮点数)相比,FP8通过减少数据位宽来实现更高的计算效率和更低的内存占用。在AI训练与推理的过程中,通过降低数值精度,可以提升计算效率。采用F...……更多
国内首个以国产全功能GPU为底座的大规模算力集群正式落地
...摩尔线程官方发布通告称,摩尔线程首个全国产千卡千亿模型训练平台,摩尔线程KUAE智算中心揭幕仪式成功举办。此举也代表着,国内首个以国产全功能GPU为底座的大规模算力集群正式落地。摩尔线程CEO张建中表示,摩尔线程...……更多
英伟达新一代RTX Blackwell:拥有920亿个晶体管 支持万亿次浮点运算
...相比,晶体管数量激增了3倍之多,并支持万亿次级别的浮点运算能力,致力于为用户呈现出尽可能完美的像素效果。对此,黄仁勋在现场进一步阐释道,我们现在有能力将人工智能工作负载与计算机图形工作负载混合,这一代...……更多
Redmi专门定制了天玑8300-Ultra芯片
...成了MediaTekAI处理器APU780,搭载生成式AI引擎,整数运算和浮点运算的性能是上一代的2倍。支持Transformer算子加速和混合精度INT4量化技术,AI综合性能是上一代的3.3倍,可流畅运行终端侧生成式AI的创新应用。首发天玑8300-Ultra的Red...……更多
...“乌镇之光”超算中心的超级计算机可以完成18亿亿次的浮点运算。如果进行等量换算,相当于全国14亿人每人每秒计算一次,要连续算上4年不眠不休。算力,可不是仅停留在技术范畴的名词。出行导航、人脸识别、快捷支付、...……更多
...200亿元,规划算力超5万PFlops(PFlops是指每秒一千万亿次浮点运算次数),全部建成后将成为距北京一小时可达的首个超大规模智算中心。“这个项目是我省去年省市县一体化招商的成果之一。”李剑介绍,去年河北开展省市县...……更多
...新”力度不可谓不大。补充一个知识点,“P”也叫每秒浮点运算次数,是衡量超级计算机处理能力的标准,数值越高,计算能力越强。目前,全国多数智算中心按高标准建设,100P算力是“起步目标”,相当于5万台高性能电脑的...……更多
...能算力规模将达到1037.3EFLOPS(EFLOPS是指每秒进行百亿亿次浮点运算),较2024年增长43%;2026年,中国智能算力规模将达到1460.3EFLOPS,为2024年的两倍。“DeepSeek带来的算法效率提升并未抑制算力需求,反而因更多用户和场景的加入...……更多
积蓄本土EDA发展能量 芯易荟专注“实用”解决行业痛点
...IP进行demo展示,包括DSP32的灵活的指令开发、DSP32优秀的浮点性能以及在ORB算法中可加速复杂指令设计等,向观众全方面展示FARMStudio这一工具的核心优势。在DSP32的灵活指令开发demo中,演示了在加入SIMD的定点指令后,DSP32计算resn...……更多
击败GPT-4o的开源模型如何炼成?关于Llama 3.1 405B都写在论文里
...于以前的 Llama 模型:旗舰语言模型使用了 3.8 × 10²⁵ 次浮点运算(FLOPs)进行预训练,超过 Llama 2 的最大版本近 50 倍。基于 Scaling law,在 Meta 的训练预算下,当前的旗舰模型已是近似计算最优的规模,但 Meta 对较小模型进行的...……更多
国产GPU为底座,摩尔线程首个千卡智算中心落地
...2月19日,观察者网了解到,摩尔线程首个全国产千卡千亿模型训练平台——摩尔线程KUAE智算中心揭幕仪式在北京举办,这宣告国内首个以国产全功能GPU为底座的大规模算力集群正式落地。与此同时,摩尔线程联合国内众多合作...……更多
“超级城市机房”孕育“AI+行业”生态|贵州有“数”
...,这背后的算力“功臣”——贵州,正以每秒55百亿亿次浮点运算的规模,在中国数字经济版图上刻下有力一笔,成为连接东西部、辐射全国乃至全球的数字经济新高地。贵州日报天眼新闻记者 尚宇杰编辑 杨羽二审 杨韬三审 刘...……更多
英伟达地表最强,黄教主被称作AI界“霉霉”
...量缩放支持和先进的动态范围管理算法,通过创新的4位浮点AI推理功能使计算和模型大小加倍。第五代 NVLink 网络技术:最新的NVLink迭代增强了数万亿参数AI模型的性能,为每个GPU提供了高达1.8TB/s的双向吞吐量,确保当今最复杂...……更多
AMD大胜!全球超算新霸主出炉!美国军方用于模拟核爆及弹道导弹设计
...LNL)今日宣布,搭载AMD芯片的El Capitan超算以1.742百亿亿次浮点运算的性能,登顶半年度的Top500榜单,成为全球已知最快的超级计算机,超越了此前位居榜首的1.3百亿亿次浮点运算的Frontier。而原本位居第二、由英特尔驱动的Aurora...……更多
华为AI存储助力中国移动构建超大规模智算集群
...转自:人民日报《人民日报》(2024年12月19日第 18 版)大模型领域普遍存在规模化定律,即大模型的性能深受模型参数量、数据集大小以及训练算力规模三要素的影响。生成式AI的运行主要基于深度学习原理,其发展离不开海量...……更多
...算力规模达到1000PFLOPS(1PFLOPS代表一秒钟执行一千万亿次浮点运算),首期投资1.5亿元,建设算力规模达到256PFLOPS,主要用于支撑高复杂度、高计算需求的百亿级大模型训练。前不久,四川能投天府云数智产业园首批42kW高功率风...……更多
“政”解丨推进智算中心建设!河南定下“人工智能+”行动路线图
...南空港智算中心规划建设的10000P(1P约等于每秒1000万亿次浮点运算能力)算力集群项目预计于今年一季度全面投运。作为区域算力基础设施的重要突破,10000P算力集群建成后将填补河南超大规模智算的空白,为大模型训练推理提供...……更多
哈密算力经济乘风起航
...瓦时,也就是1小时100千瓦时。1P算力等于每秒1千万亿次浮点运算,相当于500台高性能电脑的算力总和。据此,1000P算力每小时用电量10万千瓦时,每天用电240万千瓦时,每年用电8.76亿千瓦时。算力的尽头是电力,没有充足的电力...……更多
chatgpt低成本复现流程开源
...步提升ZeRO的性能,Colossal-AI引入了自动Chunk机制。通过将运算顺序上连续的一组参数存入同一个Chunk中(Chunk是一段连续的内存空间),可以确保每个Chunk的大小相同,从而提高内存使用效率。使用Chunk方式组织内存可以保证PCI-e和...……更多
思维链让大模型推理更准确?谷歌早于OpenAI押中o1模型核心原理
...情况下提高模型性能。其中,在与模型参数规模相匹配的浮点运算次数评估中,研究人员发现,在较小的基础模型上使用测试时,计算可以超越一个 14 倍大的模型。(来源:arXiv)总体来看,在 o1 模型发布之前几个月,谷歌就...……更多
特斯拉超级计算集群命名Cortex:10万颗英伟达芯片训练FSD和机器人
...。在云端计算上如此大手笔的投入,也让特斯拉自动驾驶模型参数、训练数据及算力的规模和增速都实现了业界领先。模型方面,云端大模型参数规模据称已达10亿量级,刚刚发布的FSDV12.5的参数量将是V12.4的5倍。数据方面,FSD...……更多
想要的都有,智界S7狠狠拿捏年轻人的喜好
...里的仿真测试,学习训练算力达3.3E FLOPS(每秒百亿亿次浮点运算),模型更新速度每5天迭代一次,用海量数据推动智能驾驶能力持续迭代升级。全能实力,为年轻而生年轻总是追求激情,向着远方去追逐。智界S7全系标配HUAWEI D...……更多
首个国产单池万卡液冷算力集群投入运营,满足万亿级大模型训练需求
...展正在进入“深水区”。随着生成式AI的迭代和发展,大模型规模以惊人的速度扩展,万亿参数级别几乎成为通用大模型的标配,由此带来的是算力需求的急剧增长。作为践行《新型数据中心“算力浦江”行动计划(2022-2024年)...……更多
更多关于科技的资讯:
鲁网11月21日讯为回馈客户,赋能业务高质量发展,近日,河东农商银行桃源支行联合辖内某药业集团举办“金冬时节·健康相伴”客户养生见面会
2025-11-22 09:34:00
灵光4天下载破100万,扩容8轮,刷新Sora2五天纪录
11月22日消息,蚂蚁灵光上线4天下载量突破100万,冲上App Store中国区免费榜第六。灵光首个百万下载速度超过ChatGPT
2025-11-22 14:13:00
知识带货热度高,历史作家梅毅在抖音直播间发布新书
知识带货热度不减,越来越多作家走进直播间推荐新书、好书。11月20日,知名历史作家梅毅(网名“赫连勃勃大王”)携新作《天命无常
2025-11-22 15:35:00
齐绘未来发布“快上岸”智能求职小程序,多项自主知识产权技术为大学生就业赋能
北京齐绘未来教育科技有限公司近日正式推出“快上岸”微信小程序,以多项具备自主知识产权的AI系统为核心,为大学生提供精准
2025-11-22 15:36:00
以开源聚合力,以生态促创新,电鸿走出行业操作系统自主路径
“在过去,去一次现场要带一大堆终端,以应对现场不同设备的接入。现在,只需一部手机和一箱基础工具就行。”来自广州南沙示范区运维工作人员的分享
2025-11-22 15:37:00
河北新闻网讯(李力芳)2025年7月份以来,河北建工省安装六分公司浙江八亿时空项目创新引入平台吊装系统、蜘蛛吊、电动遥控坦克等专业技术装备
2025-11-22 18:08:00
11月21日从太钢获悉,太钢近期硅钢产品订单在欧洲高端市场实现成功落地。此次出口的硅钢产品首次实现大卷重(15-17吨)和高牌号超宽规格(1250mm)供货
2025-11-22 18:20:00
校企携手研发新型电池 拓展长时储能应用新边界
荆楚网(湖北日报网)讯(记者唐天琪 通讯员王蕾、蓝静)11月20日,以“储能大时代,长时新蓝海”为主题的中国新型储能产业创新联盟2025年度大会在武汉召开
2025-11-22 19:06:00
必胜客中国业务进入快车道:门店突破4000家
2025年11月22日,百胜中国旗下必胜客在海南三亚举行中国第4000家门店的开业庆典。这一里程碑意味着必胜客在中国的布局进入新阶段
2025-11-22 22:32:00
从乡村直播间的农特产品,到城市商场的促销热潮,再到物流行业的高效运转……记者从太原市税务局获悉,随着“双11”将下半年消费市场带入旺季
2025-11-21 08:12:00
天阳科技发布“量子增强计划”,多方聚力共筑“量子金融”新生态
近日,以 “量子计算+AI:重塑金融科技新范式” 为主题的前沿科技研讨会在北京召开,本次研讨会由天阳宏业科技股份有限公司(以下简称 “天阳科技”)主办
2025-11-21 08:29:00
奋进的河北·“十四五”答卷丨身边的“十四五”(四):车间里的“智变”
向智而行,新型工业化加速跑——河钢集团唐钢公司构建全流程一体化生产计划排程系统,实现订单与产能高效匹配;石家庄四药集团应用生产执行系统
2025-11-21 08:36:00
“看见”,是新闻工作的起点。守护新闻工作者的清晰视野,就是守护社会公器的明亮窗口。11月18日,在厦门市新闻工作者协会指导下
2025-11-21 09:40:00
网易 UU 远程 Mac 被控功能上线,提升 macOS高效办公体验
网易 UU 远程全新版本上线,在已有 Mac 控制 PC 功能的基础上,正式开放 Mac 设备被控功能,自此 Mac 实现控制与被控的双向协作
2025-11-21 09:47:00
中新经纬11月21日电 “小米公司发言人”微博21日发布关于Xiaomi Watch S4 Sport潜水功能的说明。小米公司表示
2025-11-21 11:11:00