• 我的订阅
  • 头条热搜
昆仑万维宣布开源2千亿稀疏大模型Skywork-MoE
...转自:中国新闻网6月3日,昆仑万维宣布开源2千亿稀疏大模型Skywork-MoE,性能强劲,同时推理成本更低。Skywork-MoE基于之前昆仑万维开源的Skywork-13B模型中间checkpoint扩展而来,是首个完整将MoE Upcycling技术应用并落地的开源千亿MoE...……更多
...练中并行隐藏,成功减少了计算瓶颈,实现几乎不间断的运算;还使用PTX这一接近汇编语言的低级指令集,对GPU进行细致控制,如调整寄存器分配和线程运行方式,从而更精细地管理GPU资源。本月发布的推理大模型DeepSeek-R1在复...……更多
...市智能算力规模突破100EFLOPS(EFLOPS是指每秒进行百亿亿次浮点运算),形成50个左右具有显著成效的行业开放语料库示范应用成果,建设3个至5个大模型创新加速孵化器,建成一批上下游协同的赋能中心和垂直模型训练场。从《实施...……更多
“怪兽级”显卡发布,个人AI超级电脑亮相!黄仁勋:整个行业都在扩大AI规模
...达Blackwell架构搭建,在AI性能方面可提供每秒800万亿次8位浮点运算,能够运行支持人形机器人的多模态AI模型。 人形机器人计算平台Jetson Thor。来源:英伟达直播演讲结束前,黄仁勋为观众带来了最后的惊喜:个人AI超级电脑Proj...……更多
全球最强开源大模型Llama 3发布:使用15T数据预训练,最大模型参数将超4000亿
就在刚刚,Meta 发布了其最先进开源大型语言模型的下一代产品——Llama 3。据介绍,Llama 3 在 24K GPU 集群上训练,使用了 15T 的数据,提供了 8B 和 70B 的预训练和指令微调版本,可以支持广泛的应用。同时,Llama 3 在广泛的行业...……更多
超30个国产大模型混战:华为百度阿里腾讯,谁能成为“中国的OpenAI”?
...伟达V100芯片,约人民币10亿元,模型训练算力开销是每秒运算一千万亿次,需运行3640天。而从创业公司来看,李志飞认为5000万美元是基本门槛,王慧文和王小川首轮融资都是这个规模。因此,并不是所有的企业都有能力,或者...……更多
支持8K和更加大光追?索尼PS5 Pro游戏主机性能曝光
...并且还会加入主机学习(machinelearning)功能,支持300TOPS8bit浮点运算与67TFLOPS的16bit浮点运算。PS5Pro传闻开发代号为“Trinity”,CPU将与标准版的PS5相同,但具备超频模式,让CPU频率上升为3.85GHz,比目前PS5的3.5GHzCPU,……更多
amd推出10亿参数语言模型系列amdolmo
...10月31日发布博文,宣布推出首个完全开放的10亿参数语言模型系列AMDOLMo,为开发者和研究人员提供强大的AI研究工具。AMDOLMo模型使用从零开始训练的10亿参数语言模型系列(LMs),在AMDInstinct™MI250GPU集群上训练,使用了超过1.3...……更多
京东云:智能体大规模“上岗”,企业深度应用正当时
...实现从过去被动响应需求,进化为能主动聚焦问题、精准运算、深度分析、和智能决策、精准执行。相较于通用智能体,JoyAgent在企业场景展示出更多优势。在研发场景,JoyCode智能编码助手持续进化,实现开发即部署,代码采纳...……更多
...标准机架,算力总规模达到了230EFLOPS,即每秒230百亿亿次浮点运算。其中,智能算力比例持续提升,满足人工智能应用发展需求。截至2023年底,中国智能算力规模达到了70EFLOPS,即每秒70百亿亿次浮点运算,增速超过70%。工信部...……更多
...时不间断运转。中心一期计算能力达40PFLOPS(每秒4亿亿次浮点运算次数),于去年5月对外提供服务,如今分配率为100%,算力已全部供应给企业、院校机构,使用率峰值达85%左右。将于9月上线的二期项目预计扩容100PFLOPS算力,部...……更多
腾讯推出了一条大模型“高速公路”,大模型通信性能可提升10倍 | 最前线
...回复光标,在对话框中闪动数秒——这几秒背后,是AI大模型正在经历一轮高速而密集的计算过程。顾名思义,“AI大模型”指拥有巨大的参数量的模型,其训练和推理也需要巨大算力挑战。这对底层基础设施:芯片、网络、存...……更多
破解AI耗电困局 科技巨头“押注”核能
...歌的Gemini Ultra模型训练时需要500亿PetaFLOPs(每秒千万亿次浮点运算)算力。如果要用商用计算机实现这种计算能力,需要大约1016台计算机。与此相关的训练成本为1.91亿美元,主要归因于能耗。单个AI模型的耗电量可达数万千瓦...……更多
智算赋能·智联世界|蓝耘亮相2023世界人工智能大会
...智力”进阶,并加速行业落地照进现实,需要更为强大的运算能力和更加丰富的计算资源支撑。而GPU算力作为AI高效训练和推理的核心驱动力,为机器学习、深度学习和大规模数据处理、分析等任务提供澎湃的加速动能,是驱动A...……更多
前谷歌工程师创业造AI芯片!产品明年问世,已拿到1.8亿融资
...公司正在研发的AI芯片能为7B大模型训练提供每秒至少1022浮点计算。在提供迄今最好的服务器单位价格性能基础上,该芯片的延迟也能得到优化。例如使用MatX芯片,训练70B大模型的延迟将小于10ms/token。该芯片也提供扩展性能,...……更多
替代NVIDIA,摩尔线程&无问芯穹联手首次实现国产GPU端到端AI大模型实训
...出大招,联合宣布正式完成MT-infini-3B 3B(30亿参数)规模大模型的实训,而使用的平台就是摩尔线程国产全功能GPU MTT S4000组成的千卡集群,以及无问芯穹的AIStudio PaaS平台。这次实训充分验证了夸娥千卡智算集群在大模型训练场景下...……更多
chatgpt低成本复现流程来了
...步提升ZeRO的性能,Colossal-AI引入了自动Chunk机制。通过将运算顺序上连续的一组参数存入同一个Chunk中(Chunk是一段连续的内存空间),可以确保每个Chunk的大小相同,从而提高内存使用效率。使用Chunk方式组织内存可以保证PCI-e和...……更多
重磅!TeleAI 完成首个全国产化万卡万参大模型训练
...功完成国内首个基于全国产化万卡集群训练的万亿参数大模型(万卡万参),并正式对外开源首个基于全国产化万卡集群和国产深度学习框架训练的千亿参数大模型——星辰语义大模型 TeleChat2-115B。这是由中国电信集团 CTO、首...……更多
1-bit大模型还能再突破!新一代BitNet架构启用4位激活值
...训练,保持全精度latent weight来累积参数更新。模型量化浮点量化提供了比基于整数的量化更宽的动态范围,这对于处理激活值的长尾分布至关重要。 研究人员将FFN下采样层的输入保留为8位整数,其他激活值使用MinMax量化器量...……更多
腾讯自研大模型助力长三角打造世界级产业集群
...团副总裁、政企业务总裁李强表示,腾讯不仅通过自研大模型服务千行百业,也拥有坚实的AI基础设施服务,为中国大模型产业繁荣发展提供技术支撑。去年9月,腾讯全链路自研的腾讯混元大模型正式亮相。根据沙利文的权威报...……更多
当大模型Scaling Law继续,万卡集群算力释放在百舸找到一条通途
...一世纪什么最贵?人才!」而随着人工智能行业进入到大模型时代,这一问题的答案已然变成了「算力」。随着模型规模急剧扩张,参数已经飙升到了千亿甚至万亿级,业界开启了千模大战,AI 算力需求不可避免迎来爆炸式增长...……更多
16384块NVIDIA H100训练Meta Llama3 4050亿参数大模型:3小时报错一次
快科技7月29日消息,如今的AI大模型规模越来越庞大,动辄成百上千亿参数,训练过程不仅需要数万甚至十几万块GPU加速卡,出错的几率也越来越高。Meta(Facebook)就披露了一份惊人的报告。Meta在报告中披露,为了训练自己的Llama ...……更多
...根据训练它们所需的算力进行分类,使用称为FLOPS或每秒浮点运算的衡量标准。确切的门槛将由欧盟委员会在稍后阶段确定,并将根据需要进行更新。 公司可以对这一评估提出异议。相反,即使调查后未达到阈值,委员会也可...……更多
...一号”,“天河三号”完成全国产化规模部署,200亿亿次浮点运算能力稳居世界第一。文心一言、智谱华章、360智脑等AI大模型共有53个,占全国45%。京津冀新一代信息技术应用创新集群集聚了百余所知名高校,中科院体系机构...……更多
DeepSeek“点燃”国产芯片 FP8能否引领行业新标准?
《科创板日报》8月24日讯(记者 张洋洋)国产大模型企业DeepSeek“点燃”资本市场。近日,DeepSeek宣布其新一代模型DeepSeek-V3.1采用了UE8M0 FP8 Scale参数精度,并明确指出该精度标准是针对即将发布的下一代国产芯片设计。这一消...……更多
王小川新公司「百川智能」发布首个开源中英文大模型,开源免费可商用 | 最前线
...氪获悉,6月15日,百川智能公司正式推出中英文预训练大模型——baichuan-7B,参数量为70亿。百川智能是搜狗创始人王小川于2023年4月成立的新AI公司,36氪此前也曾做报道。baichuan-7B则是新公司成立两月后发布的第一个大模型。据...……更多
PyTorch官宣:告别CUDA,GPU推理迎来Triton加速新时代
...的是,PyTorch指出他们实现了F16推理,也就是使用半精度浮点计算。 FP32单精度浮点数F16半精度浮点数相对于FP32,使用FP16可以将位数减少一半,因而减少了所需内存,允许使用更大的模型或更大的批大小,且数据传输速度更快。...……更多
ICML2024演讲爆火!Meta朱泽园揭秘大模型内心世界:不同于人类推理
...专门研究模型的推理能力,而忽略了其他因素(如大整数运算)。图 2 展示了一个简单的例题。 图 2通过这个数据集,作者首先测试了 GPT2(RoPE 版)的表现。用 op 代表解题所需的数学运算步数,作者发现,当在 op≤21 的题目上...……更多
AI大模型难“救”商汤:上半年亏损超31亿元,上线3万张GPU,成本大增再爆裁员
...万块,算力规模从5ExaFLOPS提升至6ExaFLOPS(1ExaFLOPS代表每秒浮点运算可达一百亿亿次)。商汤表示,今年以来共有超1000个参数量数十亿至上千亿的大模型在大装置上完成训练,还联合多家国内科研机构,投入了约1万张GPU推动大语...……更多
...安全且弹性足够强的环境,训练之后需要在云端为大模型运算提供足够算力服务等。在行业大模型落地过程中,人才团队的保障也至关重要。陈晓建表示,即使具备完善的数据基础、进行了很好的行业训练,行业大模型仍无法满...……更多
更多关于科技的资讯:
2025世界制造业大会|超聚变全栈数智化方案,为安徽建设“制造强省”贡献力量
大皖新闻讯 9月20日至23日,以“智造世界 创造美好”为主题的2025世界制造业大会主在合肥举行。记者在采访中注意到
2025-09-23 13:16:00
新品首销,烟台联通胜利路营业厅人气火爆
9月19日上午8时,iPhone 17系列新品在烟台联通胜利路营业厅正式首销,现场人气火爆,众多消费者一早前来,共同体验新一代旗舰产品的魅力
2025-09-23 13:36:00
PITAKA自研PitaTap™拍照按键,重新定义手机壳交互体验
近日,在2025年德国柏林IFA展会上,PITAKA凭借其自研的PitaTap™拍照按键的创新突破,一举夺得两家国际权威科技媒体SlashGear与BGR颁发的Innovation Awards奖项
2025-09-23 11:40:00
MOVA生态链企业获数千万融资,瞄准海外电动工具赛道、预计2025年营收破亿|硬氪首发
作者|黄楠编辑|袁斯来硬氪获悉,沃庭科技(苏州)有限公司(以下简称“沃庭科技”)近日完成数千万元天使轮融资,本轮资金将用于加大技术研发投入
2025-09-23 06:51:00
刘强东,正悄悄孕育“山姆杀手”
前不久,刘强东现身宿迁,又给老家人送上了一份大礼:四家京东折扣超市。有人问,这不是赚老乡钱吗,算什么礼物?因为这些超市主打的
2025-09-22 10:23:00
近日,合众人寿秦皇岛中支开展“鎏金岁月,匠心相伴”主题金箔手作沙龙活动,通过沉浸式手工体验,为参加客户呈现了一场融合艺术鉴赏与情感联结的特别回馈
2025-09-22 10:32:00
东港股份转型科技先锋 AI具身机器人深耕为民服务
海报新闻记者 宋嵩 张彤彤“您好,我是小智,有什么可以帮助您?”在政务大厅、大型展馆、学校可以看到忙碌的“小家伙”,它们各司其职
2025-09-22 10:33:00
“人拉肩扛”到“云端挖矿” 山东黄金的数智蜕变
海报新闻记者 张彤彤三山岛金矿的井下巷道里,5G信号正穿梭于岩壁之间,中控室的大屏上,矿石流动的情况与千米深的矿洞数据实时变化
2025-09-22 10:33:00
从莱阳田野到国际餐桌 春雪食品引领鸡肉调理品行业高质量发展
海报新闻记者 宋嵩故事的起点,要追溯到2012年。彼时,山东春雪食品有限公司在莱阳设立莱阳春雪食品有限公司,最初只是一家区域性的鸡肉加工企业
2025-09-22 10:37:00
大窑饮品重磅推出“宜养说” 植物蛋白赛道再添“实力派”
当下消费者正变得前所未有的理性,这一趋势在饮品市场尤为明显:“好喝”是基础,“健康”已成为新门槛。基于对“轻养生”需求的深度洞察
2025-09-22 10:38:00
近日,西贝创始人贾国龙与网红企业家罗永浩就预制菜价值展开的公开论战,将这一话题推向了舆论漩涡。这场争论背后,折射的正是全社会对食品安全认知的深化——从单纯的“无害”向更高层次的“真实
2025-09-22 10:38:00
从鼓房到健身房:无人值守场景重塑消费体验
本报记者 胡 静 □ 陈跃佳中午十二时,李先生步入街角的24小时无人便利店,扫码开门、自选商品、刷脸支付,全程耗时不足两分钟
2025-09-22 10:39:00
鱼竿里的“大国重器” 光威复材以碳纤维技术书写国产突围之路
海报新闻记者 宋嵩 张彤彤“以前用玻璃纤维竿,钓条十斤的鱼就胳膊酸,这碳纤维的又结实又轻,真是材料不一样了!” 威海的老钓手王师傅喜欢“炫耀”他的新鱼竿
2025-09-22 10:40:00
南山智尚:纤维经纬织就智造之路
大众网·海报新闻记者 康洁一条条线可以让提线木偶惟妙惟肖的表演,而一根根强度高、耐磨损的纤维可以实现机器人手部灵巧的运动
2025-09-22 10:41:00
刚拿到新iPhone就提示设备空间不足?微信员工回应:有bug
日前,iPhone 17系列开售,很多拿到新机的用户第一时间就是转移数据。但最近有微信用户发现,在向新iPhone导入聊天记录时
2025-09-22 10:51:00