• 我的订阅
  • 头条热搜
16384块NVIDIA H100训练Meta Llama3 4050亿参数大模型:3小时报错一次
快科技7月29日消息,如今的AI大模型规模越来越庞大,动辄成百上千亿参数,训练过程不仅需要数万甚至十几万块GPU加速卡,出错的几率也越来越高。Meta(Facebook)就披露了一份惊人的报告。Meta在报告中披露,为了训练自己的Llama ...……更多
Meta祭出三篇最详尽Llama微调指南!千字长文,0基础小白必备
...开的彻彻底底。这不,Meta一连放出三篇技术文章,从大模型适配方法出发,介绍了:如何使用特定领域数据微调LLM,如何确定微调适配自己的用例,以及如何管理良好训练数据集的经验法则。接下来,直接进入正题。适配大模...……更多
全球最强开源大模型Llama 3发布:使用15T数据预训练,最大模型参数将超4000亿
就在刚刚,Meta 发布了其最先进开源大型语言模型的下一代产品——Llama 3。据介绍,Llama 3 在 24K GPU 集群上训练,使用了 15T 的数据,提供了 8B 和 70B 的预训练和指令微调版本,可以支持广泛的应用。同时,Llama 3 在广泛的行业...……更多
AI与人争资源怎么破解
...办法缓解AI发展与算力消耗海量资源之间的矛盾?《环球时报》记者就此采访了业内专家。训练AI为何会消耗海量资源随着OpenAI公司发布的聊天机器人ChatGPT的爆红,各国都加快了AI大模型的训练,需要的算力也急速增加。马斯克...……更多
常见电子邮件分类算法的性能分析
...值向量,进而利用监督学习的方法进行训练。通过训练,模型能够学习到从文本到类别的映射关系,从而实现对新文本的自动分类。这些算法在垃圾邮件识别、新闻分类、情感分析等领域有着广泛的应用。关键词:TF-IDF;决策树...……更多
小模型越级挑战14倍参数大模型,谷歌Test-Time端新的Scaling Law
不必增加模型参数,计算资源相同,小模型性能超过比它大14倍的模型!谷歌DeepMind最新研究引发热议,甚至有人表示这可能就是OpenAI即将发布的新模型草莓所用的方法。研究团队探究了在大模型推理时进行计算优化的方法,根...……更多
AI探索宇宙结构新突破!超精准场级模拟,半秒完成冷暗物质仿真
...进行编码的样式参数。研究人员在六维N-body相空间上训练模型,将粒子速度预测为模型位移输出的时间导数,显著提高了训练效率和模型准确性。最终,模拟器在测试数据(训练期间未见过的各种宇宙学和红移)上实现了良好的...……更多
微调大模型,AMD MI300X就够了!跟着这篇博客微调Llama 3.1 405B
随着 AI 模型的参数量越来越大,对算力的需求也水涨船高。比如最近,Llama-3.1 登上了最强开源大模型的宝座,但超大杯 405B 版本的内存就高达 900 多 GB,这对算力构成了更加苛刻的挑战。如何降低算力的使用成本和使用门槛,...……更多
模型即服务,卓世科技MaaS平台 2.0 正式上线
引言:MaaS(ModelasaService,模型即服务)是一种将人工智能算法模型及其相关能力封装成服务,以降低人工智能技术使用门槛、控制应用建设成本、简化系统运维管理复杂度,并提升人工智能技术的综合应用效能的模式。 上新了...……更多
Llama 4训练已开启!Meta科学家最新采访,揭秘Llama 3.1是如何炼成的
...为什么不使用MoE架构?后训练与RLHF流程是如何进行的?模型评估是如何进行的?我们什么时候可以见到Llama 4?Meta是否会发展agent?恰逢Llama 3.1刚刚发布,Meta科学家就现身播客节目Latent Space,秉持着开源分享的精神,对以上问题...……更多
马斯克打脸OpenAI!全球最大模型Grok-1开源
...列长度为8,192个数据单元,以处理更长的上下文信息纽约时报点评道,开源Gork背后的原始代码,是这个世界上最富有的人控制AI未来战斗的升级。Meta CEO扎克伯格刚刚也对Grok做出了评价:“并没有给人留下真正深刻的印象,3140亿...……更多
AI大模型有望再扩1000倍!剑桥耶鲁康奈尔:PNN是变革关键
...一新兴的前沿领域还鲜少有人涉足,但绝对值得深耕!AI模型再扩展1000倍的秘密可能就藏在这里。随着Scaling Law越来越成功,LLM的电力和算力消耗也逐渐达到了惊人程度。我们越来越难以想象,当前的模型规模如何能再扩大10倍...……更多
美AI巨头被控秘密“侵吞”数据
...被问及训练数据的来源时,她表示不会透露细节。《纽约时报》称,与OpenAI一样,谷歌也转录了YouTube视频,为其AI模型收集文本,这可能侵犯了视频创作者的版权。去年,谷歌还更改了其服务条款。此番动机意图明显,即允许AI...……更多
生成式AI的抄袭输出问题值得关注(附图片)
...字逐句照搬训练时“见过”的大段文本。前不久,《纽约时报》向美国曼哈顿联邦法院提起诉讼,指控OpenAI涉嫌违规使用其内容用于人工智能开发的事件引起了社区极大的关注与讨论。《纽约时报》称其“非法使用”“数百万篇...……更多
苹果AI震撼上线iPhone,进化版Siri却没有ChatGPT!47页技术报告揭秘自研模型
...,一大波测评刷屏全网。更惊喜的是,苹果AI背后的基础模型47页技术报告,也一并上线了。一大早,人们期待已久的「苹果AI」首个预览版,正式向开发者们推送了!iOS 18.1、iPadOS 18.1、macOS Sequoia 15.1三大系统中,全都植入了苹...……更多
ibm开源“最先进”和高性能的granite代码模型
...BM现已开源其“最先进”和高性能的Granite(花岗岩)代码模型。IT之家附开源链接如下:GitHub:点此进入HuggingFace:点此进入Granite代码模型的参数范围从3B到34B,并且有基础模型和指令跟随模型两种变体,适用于复杂应用现代化...……更多
证券时报记者 叶玲珍过去一年多,以ChatGPT为代表的生成式AI(人工智能)技术狂飙突进,各路科技巨头争相入局,试图在技术演进、应用落地风口抢占更多话语权,“百模大战”已然打响。本期“中国智造面对面”走进科大讯...……更多
本文转自:北京日报崔文佳去年年末,美国《纽约时报》起诉微软和OpenAI侵犯其版权。半个多月来,这一消息不仅为“吃瓜群众”津津乐道,也引发相关行业人士的关注。这场争端显示出传媒业与AI技术的复杂关系,值得全社会...……更多
OpenAI发布最新技术研究,AI“黑盒”不再是难题!
...随着ChatGPT在法律、金融、营销等领域的广泛使用,确保模型的安全、准确输出同时被很好理解变得非常重要。但由于神经网络的复杂和多变性,我们根本无法验证其生成内容的准确性,这也就会出现输出“黑盒”的情况。为了...……更多
德国OpenAI加入开源大战!发布欧洲纯血版模型,曾获博世和惠普投资
...VentureBeat报道,德国AI创企Aleph Alpha今日发布了两个大语言模型(LLM)。这两个模型各拥有70亿个参数,可以在多种欧洲语言中提供简洁、长度可控的响应,并已开源。该公司宣称,其模型的性能可以与其他在70亿到80亿参数量级的...……更多
摩尔线程GPU千卡集群完成师者AI 70亿参数教育大模型训练测试
快科技6月14日消息,摩尔线程与全学科教育AI大模型“师者AI”联合宣布,双方已完成大模型训练测试。师者AI基于摩尔线程夸娥(KUAE)千卡智算集群,完成了其70亿参数大模型的高强度训练测试。整个训练过程用时一周,训练...……更多
第一个100%开源的MoE大模型,7B的参数,1B的推理成本
... checkpoint、训练日志和训练数据都已经开源。尽管大语言模型 (LM) 在各种任务上取得了重大进展,但在训练和推理方面,性能和成本之间仍然需要权衡。对于许多学者和开发人员来说,高性能的 LM 是无法访问的,因为它们的构建...……更多
最强AI程序员砸饭碗:84秒跑通代码 像人一样思考
...了30.07%问题的成绩夺得榜首。(SWE-Bench是一个用来评估大模型解决现实中软件问题的基准。)而这个成绩可谓是遥遥领先第二名19.27%,解锁了提升SOTA的最大增幅——57%!至于Genie的实际效果,用团队的话来说就是:它可以做到像...……更多
ICML2024演讲爆火!Meta朱泽园揭秘大模型内心世界:不同于人类推理
...稿邮箱:liyazhou@jiqizhixin.com;zhaoyunfeng@jiqizhixin.com大语言模型 (LLM) 是如何解数学题的?是通过模板记忆,还是真的学会了推理思维?模型的心算过程是怎样的?能学会怎样的推理技能?与人类相同,还是超越了人类?只学一种类...……更多
高文院士:鹏城实验室已训练3个大模型,今年底将拥有两万多块卡
...城实验室主任高文发表演讲,分享了鹏城实验室在打造大模型平台上的进展。他表示,大模型训练首先需要一个平台。“现在要想训练一个大模型,需要有几千块卡,甚至上万块卡。”他介绍到,鹏城实验室在2020年就搭建了这...……更多
中国最大开源MoE模型,255B参数无条件免费商用,元象发布
元象XVERSE发布中国最大MoE开源模型:XVERSE-MoE-A36B,该模型总参数255B,激活参数36B,达到100B模型性能的「跨级」跃升。同时训练时间减少30%,推理性能提升100%,使每token成本大幅下降。在多个权威评测中,元象MoE效果大幅超越多...……更多
比Stable Diffusion便宜118倍!1890美元训出11.6亿参数高质量文生图模型
...研究人员,利用延迟掩蔽、MoE、分层扩展等策略,将扩散模型的训练成本降到了1890美元。训练一个扩散模型要多少钱?之前最便宜的方法(Wuerstchen)用了28400美元,而像Stable Diffusion这样的模型还要再贵一个数量级。大模型时代...……更多
清华光学AI登Nature!物理神经网络,反向传播不需要了
...需要对物理系统进行详细建模,然后在计算机上模拟这些模型来训练网络。而FFM方法省去了建模过程,允许系统直接使用实验数据进行学习和优化。这也意味着,训练不需要再从后向前检查每一层(反向传播),而是可以直接从...……更多
大模型观察|从训练到落地金融业,大模型“升级之路”面临哪些挑战?
迎着技术风口,2024年将是AI大模型应用的浪潮年。业界认为,大模型将对金融业产生长远的、深刻的影响。1月28日,针对大模型在各业务场景的应用成效、对大模型算力的开发和提升,多机构向北京商报记者透露了自研大模型...……更多
Yandex推出开源大语言模型训练工具,称可节省高达20%的图形处理器资源
...球科技公司Yandex推出了YaFSDP,这是一种用于训练大型语言模型(LLM)的开源方法。据介绍,YaFSDP是目前在大型语言模型训练中增强图形处理器(GPU)通信并减少内存使用量的公开可用的最有效工具,与FSDP相比,根据架构和参数数量...……更多
更多关于科技的资讯:
国内首个数字文娱新空间内容分发管理系统正式上线!
2025年11月20日,在上海市文化和旅游局指导下,由上海交大提供技术支持、上海市数字文娱新空间技术创新中心与遥在科技联合研发的国内首个“数字文娱新空间内容分发管理系统”
2025-11-24 19:35:00
智芯引领 生态共赢
11月18日,“智芯引领 生态共赢”国产化终端及服务器推介会在连云港市海州区成功举办。公安部第三研究所、连云港市及海州区相关政府部门
2025-11-24 16:50:00
深耕三国文化,灵犀互娱《三国志·战略版》实践中式美学的全球表达
2025年初,国务院办公厅印发《关于推动文化高质量发展的若干经济政策》,明确提出“加快培育具有国际竞争力的文化出口重点企业
2025-11-24 11:25:00
“肽”领全球!菏泽中食都庆通过白俄罗斯验厂审核,东欧市场再添新动能
鲁网11月24日讯日前,Richtek Ltd(大连睿骐生物科技)携白俄罗斯客户代表团莅临菏泽鲁西新区陈集镇中食都庆(山东)生物技术有限公司
2025-11-24 11:43:00
河北新闻网讯(翟磊)“四季度以来,企业订单稳定,月产能最大可达150万片。目前开通了5条智能化生产线,不仅产能得到了提升
2025-11-24 11:58:00
让真实被听见:猛玛助力百校学生记录当代中国
2025年,是《南风窗》“调研中国”项目的二十周年,一百支大学生团队深入全国各地开展田野调查。猛玛作为项目在全国高校的无线麦克风合作伙伴
2025-11-24 11:47:00
从福掌柜包装焕新,看“中国守味人”的文化赋能与商业远见
近年来,中国餐饮行业从规模扩张迈向高质量发展的新阶段,餐饮供应链的品牌化成为大势所趋。在此背景之下,中粮餐饮旗下产品品牌福掌柜率先启动全线产品包装焕新
2025-11-24 11:57:00
“好房子科技展”亮相首钢园 华为全屋智能担当“隐形力量”
“好房子科技展”在首钢园正式开放海外网11月21日电 由住房和城乡建设部科技与产业化发展中心联合20余家单位共建的“好房子科技展”近日在北京首钢园8号馆正式开放
2025-11-24 09:53:00
2025年北京市职工数据安全管理员职业技能决赛成功举办
2025年11月23日上午,由北京市总工会、北京市人力资源和社会保障局主办,北京网络空间安全协会、北京市总工会职工服务中心
2025-11-24 10:17:00
灵光突破200万下载:首破百万用4天,再破百万仅2天
11月24日消息,通用AI助手灵光在上线6天总下载量突破200万:在首次破百万下载用时4天刷新纪录后,再破百万的时间压缩到了2天
2025-11-24 10:24:00
国内寿险行业头部企业——中国人寿保险股份有限公司(以下简称“中国人寿”,股票代码:601628.SH,2628.HK)始终坚持以人民为中心的价值取向
2025-11-24 11:00:00
摘要:本文系统探究了人工智能技术在影视美术创作及戏剧影视美术设计专业教学中的应用模式、核心价值与发展前景。通过对Midjourney
2025-11-24 07:00:00
医保制度的完善与发展不仅直接影响人民的健康福祉,还关乎国家医疗资源的合理配置与利用效率。然而,随着医保覆盖范围不断扩大
2025-11-24 07:00:00
厦门三展联动 显现整合资源拉动消费的集聚效应
境外客商参观2025厦门国际咖啡产业博览会。●ISPO亚洲运动用品与时尚展涵盖多领域户外装备展示,并设有行业分享论坛、新潮运动体验区
2025-11-24 07:53:00
厦门网讯(厦门日报记者 林露虹)独居老人在家中不慎跌倒,所幸家中安装的毫米波雷达设备迅速识别异常并触发警报,避免一场悲剧的发生……这一幕出现在今年热播剧《蛮好的人生》中
2025-11-24 07:54:00