• 我的订阅
  • 头条热搜
微调大模型,AMD MI300X就够了!跟着这篇博客微调Llama 3.1 405B
随着 AI 模型的参数量越来越大,对算力的需求也水涨船高。比如最近,Llama-3.1 登上了最强开源大模型的宝座,但超大杯 405B 版本的内存就高达 900 多 GB,这对算力构成了更加苛刻的挑战。如何降低算力的使用成本和使用门槛,...……更多
马斯克承诺开源版大模型 来了!Grok-1:3140亿参数迄今最大,权重架构全开放
...之心开源社区有福了。说到做到,马斯克承诺的开源版大模型 Grok 终于来了!今天凌晨,马斯克旗下大模型公司 xAI 宣布正式开源 3140 亿参数的混合专家(MoE)模型‘Grok-1’,以及该模型的权重和网络架构。这也使得Grok-1成为当...……更多
前谷歌科学家Yi Tay「LLM演义」系列博客第一弹:BERT为何匿迹江湖?
【新智元导读】前谷歌科学家Yi Tay重磅推出「LLM时代的模型架构」系列博客,首篇博文的话题关于:基于encoder-only架构的BERT是如何被基于encoder-decoder架构的T5所取代的,分析了BERT灭绝的始末以及不同架构模型的优缺点,以史为...……更多
Meta大模型LLaMA 3即将登场,参数量或达1400亿
在推出开源大模型LLaMA2近一年之后,Meta的新一代大模型LLaMA3即将面世。在4月9日伦敦举行的一次活动中,Meta确认计划在下个月内首次发布LLaMA3。据了解,该模型将有多个具有不同功能的版本。但Meta并没有披露LLaMA3的参数规模。...……更多
全球最强开源大模型Llama 3发布:使用15T数据预训练,最大模型参数将超4000亿
就在刚刚,Meta 发布了其最先进开源大型语言模型的下一代产品——Llama 3。据介绍,Llama 3 在 24K GPU 集群上训练,使用了 15T 的数据,提供了 8B 和 70B 的预训练和指令微调版本,可以支持广泛的应用。同时,Llama 3 在广泛的行业...……更多
谷歌「诚意之作」,开源9B、27B版Gemma2,主打高效、经济!
...著的能力跟进,可见其技术发展与创新的潜力。除了Gemini模型外,Gemma这一系列轻量级的SOTA开放模型似乎与我们距离更近。它基于Gemini模型相同的研究和技术构建,旨在让每个人都拥有构建AI的工具。谷歌持续扩展Gemma家族,包...……更多
英伟达最新技术分享:手把手教你用Llama 3.1合成数据改进模型!附代码
【新智元导读】适逢Llama 3.1模型刚刚发布,英伟达就发表了一篇技术博客,手把手教你如何好好利用这个强大的开源模型,为领域模型或RAG系统的微调生成合成数据。Epoch AI上个月刚刚发文,结果。真实数据稀缺可能不再是问题...……更多
Sora这就落伍了?Meta“最强视频模型”不用DiT,用Llama大力出奇迹了
...量问题而导致难产的节骨眼,Meta毫不客气发了它的视频模型“Movie Gen”,并直接用一个完整的评测体系宣告自己打败了Sora们。而且更狠的是,Meta还“杀人诛心”,虽然这模型目前和Sora一样还没对外开放,但它把新模型的95页技...……更多
记者实测|速度更快成本更低,人机交互更自然,OpenAI新模型免费开放
...搜索引擎,也未推出GPT-4.5或GPT-5,而是发布了GPT-4系列新模型GPT-4o以及AI聊天机器人ChatGPT的桌面版本,聚焦多模态和端侧应用。此前OpenAI公司CEO奥尔特曼(Sam Altman)就已经否认了公司将会发布GPT-5,他表示新版GPT非常“神奇”。...……更多
万字技术干货!LLM工程师必读量化指南,可视化图解揭秘大模型如何压缩
...量化」的基本概念和分支方法进行了全方位总结。大语言模型(LLM)通常过于庞大,无法在消费级硬件上运行。这些模型的参数可能超过数十亿,通常需要显存较大的GPU来加速推理过程。因此,越来越多的研究开始关注如何缩小...……更多
o1金牌团队揭秘AI超越人类惊人时刻!22分完整版视频全公开
...时刻。在22分钟完整版采访视频中,他们分享了自己对新模型的思考,以及背后的开发故事。OpenAI o1团队采访的完整版视频,终于上线了!全程22分钟,o1研发团队在项目Bob McGrew组织下,一起分享了「啊哈」时刻。有的人提到,...……更多
谷歌推出其最先进AI模型Gemini,希望击败GPT-4
...谷歌公司宣布推出其规模最大、功能最强大的新大型语言模型Gemini,其最强大的TPU(张量处理单元)系统“Cloud TPU v5p”以及来自谷歌云的人工智能超级计算机。v5p是今年早些时候全面推出的Cloud TPU v5e的更新版本,谷歌承诺其速...……更多
「世界开源新王」跌落神坛?重测跑分暴跌实锤造假,2人团队光速「滑跪」
...后,开发者们甚至还发现,Reflection可能就是个「套壳」模型,而且还是连套三家的那种(Claude/GPT/Llama)。这下子,Reddit和X等平台上,立刻掀起了质疑的声浪。 左右滑动查看为此,Shumer承诺将和Glaive创始人Sahil Chaudhary一起调查...……更多
摩尔线程GPU千卡集群完成师者AI 70亿参数教育大模型训练测试
快科技6月14日消息,摩尔线程与全学科教育AI大模型“师者AI”联合宣布,双方已完成大模型训练测试。师者AI基于摩尔线程夸娥(KUAE)千卡智算集群,完成了其70亿参数大模型的高强度训练测试。整个训练过程用时一周,训练...……更多
模拟5亿年自然进化史,全新蛋白质大模型ESM3诞生!前Meta老将力作LeCun转赞
...:乔杨 好困【新智元导读】能抗衡AlphaFold 3的生命科学大模型终于出现了。初创公司Evolutionary Scale AI发布了他们最新的98B参数蛋白质语言模型ESM3。不仅支持序列、结构、功能的all-to-all推理,团队还在实验中发现,它设计的新蛋...……更多
第一个100%开源的MoE大模型,7B的参数,1B的推理成本
... checkpoint、训练日志和训练数据都已经开源。尽管大语言模型 (LM) 在各种任务上取得了重大进展,但在训练和推理方面,性能和成本之间仍然需要权衡。对于许多学者和开发人员来说,高性能的 LM 是无法访问的,因为它们的构建...……更多
小模型正在成为AI界的新宠
大模型的发展已经进入了万亿级参数时代。DeepMind 联合创始人穆斯塔法・苏莱曼(Mustafa Suleyman)预测, 仅在未来三年内,大模型规模以惊人的速度继续扩张,将增长 1000 倍。一方面,模型的参数量与其能够处理和学习的复杂性...……更多
中国最大开源MoE模型,255B参数无条件免费商用,元象发布
元象XVERSE发布中国最大MoE开源模型:XVERSE-MoE-A36B,该模型总参数255B,激活参数36B,达到100B模型性能的「跨级」跃升。同时训练时间减少30%,推理性能提升100%,使每token成本大幅下降。在多个权威评测中,元象MoE效果大幅超越多...……更多
大模型观察|从训练到落地金融业,大模型“升级之路”面临哪些挑战?
迎着技术风口,2024年将是AI大模型应用的浪潮年。业界认为,大模型将对金融业产生长远的、深刻的影响。1月28日,针对大模型在各业务场景的应用成效、对大模型算力的开发和提升,多机构向北京商报记者透露了自研大模型...……更多
高文院士:鹏城实验室已训练3个大模型,今年底将拥有两万多块卡
...城实验室主任高文发表演讲,分享了鹏城实验室在打造大模型平台上的进展。他表示,大模型训练首先需要一个平台。“现在要想训练一个大模型,需要有几千块卡,甚至上万块卡。”他介绍到,鹏城实验室在2020年就搭建了这...……更多
比Stable Diffusion便宜118倍!1890美元训出11.6亿参数高质量文生图模型
...研究人员,利用延迟掩蔽、MoE、分层扩展等策略,将扩散模型的训练成本降到了1890美元。训练一个扩散模型要多少钱?之前最便宜的方法(Wuerstchen)用了28400美元,而像Stable Diffusion这样的模型还要再贵一个数量级。大模型时代...……更多
360智脑7b参数模型采用3.4万亿tokens训练
...12日消息,360公司日前在GitHub上开源了360智脑7B(70亿参数模型)。360智脑大模型采用3.4万亿Tokens的语料库训练,以中文、英文、代码为主,开放4K、32K、360K三种不同文本长度。360表示,360K(约50万字)是当前国产开源模型文本长...……更多
Yandex推出开源大语言模型训练工具,称可节省高达20%的图形处理器资源
...球科技公司Yandex推出了YaFSDP,这是一种用于训练大型语言模型(LLM)的开源方法。据介绍,YaFSDP是目前在大型语言模型训练中增强图形处理器(GPU)通信并减少内存使用量的公开可用的最有效工具,与FSDP相比,根据架构和参数数量...……更多
昆仑万维宣布开源2千亿稀疏大模型Skywork-MoE
...转自:中国新闻网6月3日,昆仑万维宣布开源2千亿稀疏大模型Skywork-MoE,性能强劲,同时推理成本更低。Skywork-MoE基于之前昆仑万维开源的Skywork-13B模型中间checkpoint扩展而来,是首个完整将MoE Upcycling技术应用并落地的开源千亿MoE...……更多
百川智能发布baichuan3稳定语言模型
1月29日,百川智能发布超千亿参数的大语言模型Baichuan3。在多个权威通用能力评测如CMMLU、GAOKAO和AGI-Eval中,Baichuan3都展现了出色的能力,尤其在中文任务上更是超越了GPT-4。而在数学和代码专项评测如MATH、HumanEval和MBPP中同样表...……更多
1890美元,就能从头训练一个还不错的12亿参数扩散模型
...只用1890美元、3700 万张图像,就能训练一个还不错的扩散模型。现阶段,视觉生成模型擅长创建逼真的视觉内容,然而从头开始训练这些模型的成本和工作量仍然很高。比如 Stable Diffusion 2.1 花费了 200000 个 A100 GPU 小时。即使研...……更多
GPT-4批评GPT-4实现「自我提升」!OpenAI前超级对齐团队又一力作被公开
...许是为了缓解广大网友的热切期待,OpenAI在今天放出了新模型CriticGPT,相当于GPT-4的「拐杖」。我们训练了一个模型CriticGPT,来捕获GPT-4生成代码中的错误。我们开始将此类模型集成到RLHF对齐管道中,以帮助人类监督AI执行困难...……更多
小模型越级挑战14倍参数大模型,谷歌Test-Time端新的Scaling Law
不必增加模型参数,计算资源相同,小模型性能超过比它大14倍的模型!谷歌DeepMind最新研究引发热议,甚至有人表示这可能就是OpenAI即将发布的新模型草莓所用的方法。研究团队探究了在大模型推理时进行计算优化的方法,根...……更多
微软被曝正自研AI大模型:5000亿个参数,与谷歌和OpenAI竞争
...巨头微软或正在研发参数达5000亿的全新AI(人工智能)大模型,将正面叫板谷歌和OpenAI。当地时间5月6日,据外媒报道,微软正在研发一款名为MAI-1的最新AI大模型,其规模远超出微软此前推出的一些开源模型,在性能上或能与谷...……更多
Meta祭出三篇最详尽Llama微调指南!千字长文,0基础小白必备
...开的彻彻底底。这不,Meta一连放出三篇技术文章,从大模型适配方法出发,介绍了:如何使用特定领域数据微调LLM,如何确定微调适配自己的用例,以及如何管理良好训练数据集的经验法则。接下来,直接进入正题。适配大模...……更多
更多关于科技的资讯:
在数字经济浪潮奔涌、国企改革持续深化的时代背景下,绵阳安鼎元作为四川安州发展集团旗下专业的国有资产管理平台,勇立潮头,以深刻的变革意识和前瞻的战略视野
2025-11-27 10:07:00
厦门网讯(厦门日报记者 沈彦彦 王元晖)“政策一出台,咨询电话就没停过!”厦门厦旅国际旅行社有限公司湖滨东营业部负责人谢晓燕放下手中的咨询电话
2025-11-27 08:12:00
“脑”力全开!江西抢滩脑机接口新蓝海
当好莱坞经典电影《盗梦空间》描绘的人类通过脑机接口潜入他人意识的场景,从科幻照进现实,一场关乎未来产业格局的竞赛已悄然启幕
2025-11-27 07:13:00
专利技术遭盗用,创新成果被侵犯,专利权人该如何维权?11月24日,市知识产权纠纷调委会通过一起实用新型专利侵权的调解案例释法
2025-11-26 08:11:00
感恩节“心”守护:灵动生活集团全链条心理服务破局,让3000万用户听见温暖的回响
当感恩节的暖意在街头巷尾流转,“守护”与“感恩”成为叩击人心的关键词。在心理健康已从“小众需求”转变为“全民刚需”的今天
2025-11-26 08:35:00
省发展改革委近日批复了山西省教育科技人才一体化服务产业云平台项目可行性研究报告,建设地址位于中北大学校内。作为山西聚焦“产学研用深度融合”的关键信息化基建项目
2025-11-26 08:41:00
为推动智能建造落地应用,搭建行业交流平台,近日,“晋塔”智能装备观摩活动在太原市多个施工项目同步启动。“晋塔”智能施工升降机
2025-11-26 08:42:00
经济热力站|绿色转型为基 金融创新为翼 科技赋能为核——助推首都经济高质量发展再上新台阶
11月19日,“京彩不设限・经济热力站”月度主题走访活动再度启程,记者跟随采访团先后走进北京绿色交易所、中国邮政储蓄银行北京分行及北京银行顺义科技研发中心
2025-11-26 10:06:00
赞皇县:AI赋能“一网通办” 业务办理效率提升70%
河北新闻网讯(次柳静)近日,石家庄市赞皇县数据和政务服务局依托DeepSeek大模型与智能算法,创新打造AI“智能填报”平台
2025-11-26 10:07:00
河北师范大学金融学院举行“产品经理人才共创培养体系”主题培训
河北新闻网讯 近日,河北师范大学金融学院邀请北京来学吧信息技术有限公司相关负责人到校,开展了主题为“产品经理人才共创培养体系”主题培训
2025-11-26 10:09:00
南京生物医药:研发“拔节孕穗”,产业新星闪耀
第91届全国药交会在宁落幕南京生物医药:研发“拔节孕穗”,产业新星闪耀□南京日报/紫金山新闻记者张甜甜连续3天,南京国际博览中心人流如织
2025-11-26 10:26:00
2025年两院院士增选结果揭晓 南京地区7人入选 在宁院士总数达102人
南报网讯(记者何洁张安琪)11月21日,2025年两院院士增选结果正式揭晓,选举产生中国科学院院士73人、中国工程院院士71人
2025-11-26 10:27:00
隐风文化:锚定四大理念,以精品力穿越短剧周期
由北京隐风文化科技有限公司出品的奇幻爱情短剧《岁岁怀安》延续预约150万的热度,上线后迅速跃居红果站内热播榜高位,这也是今年团队继《咬清梨》《怎敌她动人》之后
2025-11-26 11:06:00
视源股份荣获2024年度广东省科技进步一等奖
2025年11月20日,广东省人民政府正式发布《2024年度广东省科学技术奖通报》(粤府〔2025〕50号)。视源股份牵头完成的“高自然度智能交互显示终端关键技术及产业化”项目
2025-11-26 11:06:00
视源股份成为英特尔首批尊享级合作伙伴 合作再升级
近日,英特尔合作伙伴联盟完成战略升级,联盟最高等级“钛金级”正式更迭为“尊享级”。视源股份凭借其在计算机领域的深厚积累
2025-11-26 11:06:00