• 我的订阅
  • 头条热搜
微调大模型,AMD MI300X就够了!跟着这篇博客微调Llama 3.1 405B
随着 AI 模型的参数量越来越大,对算力的需求也水涨船高。比如最近,Llama-3.1 登上了最强开源大模型的宝座,但超大杯 405B 版本的内存就高达 900 多 GB,这对算力构成了更加苛刻的挑战。如何降低算力的使用成本和使用门槛,...……更多
马斯克承诺开源版大模型 来了!Grok-1:3140亿参数迄今最大,权重架构全开放
...之心开源社区有福了。说到做到,马斯克承诺的开源版大模型 Grok 终于来了!今天凌晨,马斯克旗下大模型公司 xAI 宣布正式开源 3140 亿参数的混合专家(MoE)模型‘Grok-1’,以及该模型的权重和网络架构。这也使得Grok-1成为当...……更多
前谷歌科学家Yi Tay「LLM演义」系列博客第一弹:BERT为何匿迹江湖?
【新智元导读】前谷歌科学家Yi Tay重磅推出「LLM时代的模型架构」系列博客,首篇博文的话题关于:基于encoder-only架构的BERT是如何被基于encoder-decoder架构的T5所取代的,分析了BERT灭绝的始末以及不同架构模型的优缺点,以史为...……更多
Scaling Law百度最早提出!OpenAI/Claude受它启发,致谢中有Ilya
...统团队。他们探讨了深度学习中训练集大小、计算规模和模型精度之间的关系,并且通过大规模实证研究揭示了深度学习泛化误差和模型大小的缩放规律,还在图像和音频上进行了测试。只不过他们使用的是 LSTM,而不是Transforme...……更多
Meta首次公布AI芯片细节 功耗低于英伟达
...)计划的一部分,主要用于提升广告投放和其他内容推荐模型的效率。据Meta介绍,首个MTIA芯片将专注于AI推理。Meta软件工程师Joel Coburn表示,Meta最初考虑将GPU用于推理任务,但后来发现GPU并不不太适合推理工作。“GPU在真实模...……更多
Meta大模型LLaMA 3即将登场,参数量或达1400亿
在推出开源大模型LLaMA2近一年之后,Meta的新一代大模型LLaMA3即将面世。在4月9日伦敦举行的一次活动中,Meta确认计划在下个月内首次发布LLaMA3。据了解,该模型将有多个具有不同功能的版本。但Meta并没有披露LLaMA3的参数规模。...……更多
全球最强开源大模型Llama 3发布:使用15T数据预训练,最大模型参数将超4000亿
就在刚刚,Meta 发布了其最先进开源大型语言模型的下一代产品——Llama 3。据介绍,Llama 3 在 24K GPU 集群上训练,使用了 15T 的数据,提供了 8B 和 70B 的预训练和指令微调版本,可以支持广泛的应用。同时,Llama 3 在广泛的行业...……更多
美欧亚三洲开发者联手,全球首个组团训练的大模型,全流程开源
...,Prime Intellect 宣布通过去中心化方式训练完成了一个 10B 模型。30 号,他们开源了一切,包括基础模型、检查点、后训练模型、数据、PRIME 训练框架和技术报告。据了解,这应该是有史以来首个以去中心化形式训练得到的 10B 大...……更多
谷歌「诚意之作」,开源9B、27B版Gemma2,主打高效、经济!
...著的能力跟进,可见其技术发展与创新的潜力。除了Gemini模型外,Gemma这一系列轻量级的SOTA开放模型似乎与我们距离更近。它基于Gemini模型相同的研究和技术构建,旨在让每个人都拥有构建AI的工具。谷歌持续扩展Gemma家族,包...……更多
大模型是否有推理能力?DeepMind数月前的论文让AI社区吵起来了
最近一段时间,随着 OpenAI o1 模型的推出,关于大型语言模型是否拥有推理能力的讨论又多了起来。比如苹果在前段时间的一篇论文中指出,只要给模型一些干扰,最聪明的模型也会犯最简单的错误(参见《给小学数学题加句「...……更多
钮祜禄·Meta:发布最强开源新模型Llama 2,拉拢微软做盟友 | 最前线
...Meta开始高调奋起进击。北美时间7月18日,META公布最新大模型Llama 2(羊驼 2),包含7B、13B和 70B三种参数变体,可免费用于商业或者研究。Meta首席人工智能科学家杨立昆在Twitter上表示,“这将改变大模型市场格局。”Llama是Meta...……更多
英伟达最新技术分享:手把手教你用Llama 3.1合成数据改进模型!附代码
【新智元导读】适逢Llama 3.1模型刚刚发布,英伟达就发表了一篇技术博客,手把手教你如何好好利用这个强大的开源模型,为领域模型或RAG系统的微调生成合成数据。Epoch AI上个月刚刚发文,结果。真实数据稀缺可能不再是问题...……更多
Sora这就落伍了?Meta“最强视频模型”不用DiT,用Llama大力出奇迹了
...量问题而导致难产的节骨眼,Meta毫不客气发了它的视频模型“Movie Gen”,并直接用一个完整的评测体系宣告自己打败了Sora们。而且更狠的是,Meta还“杀人诛心”,虽然这模型目前和Sora一样还没对外开放,但它把新模型的95页技...……更多
对标chatgpt,华硕子公司台智云发布福尔摩斯大模型
...司台智云近日在AIHPCconAI超算年会上发布企业级大型语言模型“福尔摩斯大模型”。▲图源:华硕官网华硕董事长施崇棠表示,自去年生成式AI横空出世后,华硕观察到企业客户希望用生成式AI进行新一波生产力革命。在华硕博客...……更多
从0构建gpt!网友:比之前的教程都要清晰
...,今天要讲的这个博主的教程,更侧重于代码实现部分,模型的权重则用已经训练好的。对此,博主解释称这篇教程的重点在于提供一个简单且易于破解的完整技术介绍。这对还不理解GPT背后概念的盆友,算是非常友好了。还有...……更多
字节跳动向大模型大乱斗扔出一个豆包
好饭不怕晚,字节跳动自己的大模型终于有些动静了。字节跳动首个大模型独立 App 今天上线,是一个 AI 对话产品,叫 " 豆包 "。不知道豆包是不是 "dou bot" 的谐音。但至少豆包是可以用抖音登录的。之前的 Grace 还不是这样。6 ...……更多
从AI画画到“用声音做视频”,全球掘金AIGC | 焦点分析
...焦点。今年4月,一家名为Open AI的公司公布旗下的DALL-E 2模型,其用文字生成图像的质量之高,让人震惊——以前,“AI画画”还只是一小群人的游戏,AI画出来的画,像出自小学生之手一样朴实稚拙。但很快,大家发现AIGC进步神...……更多
揭秘iPhone里的Transformer:基于GPT-2架构 | MIT校友出品
苹果Transformer的“秘密”,让发烧友给扒出来了。大模型浪潮下,即使保守如苹果,也每逢发布会必提“Transformer”。比如,在今年的WWDC上,苹果就已宣布,船新版本的iOS和macOS将内置Transformer语言模型,以提供带文本预测功能...……更多
记者实测|速度更快成本更低,人机交互更自然,OpenAI新模型免费开放
...搜索引擎,也未推出GPT-4.5或GPT-5,而是发布了GPT-4系列新模型GPT-4o以及AI聊天机器人ChatGPT的桌面版本,聚焦多模态和端侧应用。此前OpenAI公司CEO奥尔特曼(Sam Altman)就已经否认了公司将会发布GPT-5,他表示新版GPT非常“神奇”。...……更多
机器帮你写代码:meta推出ai编程工具codellama
...为 CodeLlama 的AI编码工具,号称“最先进的大型编码语言模型”。该模型基于Llama2大型语言模型打造,可以理解为“Llama2的写代码专用版”,可用于“生成新的代码并调试人类编写的工作”,目前已上线 Github。据悉,CodeLlama将采...……更多
万字技术干货!LLM工程师必读量化指南,可视化图解揭秘大模型如何压缩
...量化」的基本概念和分支方法进行了全方位总结。大语言模型(LLM)通常过于庞大,无法在消费级硬件上运行。这些模型的参数可能超过数十亿,通常需要显存较大的GPU来加速推理过程。因此,越来越多的研究开始关注如何缩小...……更多
o1金牌团队揭秘AI超越人类惊人时刻!22分完整版视频全公开
...时刻。在22分钟完整版采访视频中,他们分享了自己对新模型的思考,以及背后的开发故事。OpenAI o1团队采访的完整版视频,终于上线了!全程22分钟,o1研发团队在项目Bob McGrew组织下,一起分享了「啊哈」时刻。有的人提到,...……更多
昨夜今晨:中国联通推出鸿湖图文大模型 微信就高校支付费率问题致歉
...,并适时向社会公开相关计划。中国联通推出鸿湖图文大模型中国联通在MWC上海大会上推出了鸿湖图文大模型。这是首个专为运营商增值业务而设计的AI大模型,目前有两个版本:8亿训练参数和20亿训练参数。该模型可实现文生...……更多
谷歌推出其最先进AI模型Gemini,希望击败GPT-4
...谷歌公司宣布推出其规模最大、功能最强大的新大型语言模型Gemini,其最强大的TPU(张量处理单元)系统“Cloud TPU v5p”以及来自谷歌云的人工智能超级计算机。v5p是今年早些时候全面推出的Cloud TPU v5e的更新版本,谷歌承诺其速...……更多
「世界开源新王」跌落神坛?重测跑分暴跌实锤造假,2人团队光速「滑跪」
...后,开发者们甚至还发现,Reflection可能就是个「套壳」模型,而且还是连套三家的那种(Claude/GPT/Llama)。这下子,Reddit和X等平台上,立刻掀起了质疑的声浪。 左右滑动查看为此,Shumer承诺将和Glaive创始人Sahil Chaudhary一起调查...……更多
围剿ChatGPT
人工智能(AI)聊天机器模型ChatGPT风潮狂飙超过百日,包括马斯克在内的商界大佬、科技巨头以及各国政府都已开始着手围剿GPT。钛媒体App获悉,北京时间4月25日凌晨的RSA 2023大会上,美国科技巨头谷歌(Google)宣布推出基于Sec...……更多
gpt-4模型架构泄露:包含1.8万亿参数、采用混合专家模型
外媒Semianalysis近日对OpenAI今年3月发布的GPT-4大模型进行了揭秘,其中包括GPT-4模型架构、训练和推理的基础设施、参数量、训练数据集、token数、成本、混合专家模型(MixtureofExperts)等具体的参数和信息。▲图源 Semianalysis外媒...……更多
深度学习+云计算,AI挖掘用户资料训练大脑,个人隐私从何谈起
...,还是所有你在网上公开的帖子,都可能被扔进“谷歌大模型搅拌机中,即使面对版权问题,谷歌AI依旧表示:拿来吧你!7月第二周谷歌就更新了一版隐私条例,明确表示“我们保留网上所有公开内容的搜集权限”,以构建AI工...……更多
摩尔线程GPU千卡集群完成师者AI 70亿参数教育大模型训练测试
快科技6月14日消息,摩尔线程与全学科教育AI大模型“师者AI”联合宣布,双方已完成大模型训练测试。师者AI基于摩尔线程夸娥(KUAE)千卡智算集群,完成了其70亿参数大模型的高强度训练测试。整个训练过程用时一周,训练...……更多
模拟5亿年自然进化史,全新蛋白质大模型ESM3诞生!前Meta老将力作LeCun转赞
...:乔杨 好困【新智元导读】能抗衡AlphaFold 3的生命科学大模型终于出现了。初创公司Evolutionary Scale AI发布了他们最新的98B参数蛋白质语言模型ESM3。不仅支持序列、结构、功能的all-to-all推理,团队还在实验中发现,它设计的新蛋...……更多
更多关于科技的资讯:
南报网讯(通讯员毛欣悦记者张希)近日,2025年度南京市新核定的外资研发中心名单公布,江宁开发区5家外资研发中心核定入选
2025-08-25 07:38:00
从清北退学的年轻人,当月入五千的CEO
与其浪费时间,不如直接退学还有一年就要从北大医学院毕业的大三学生阿布,决定从北大退学了。阿布提交了退学申请后,学校的老师并没有立刻批准
2025-08-24 19:17:00
京东建材超品日全渠道大幅增长 卫浴、灯饰照明品类成交额增长超7倍
8月20日晚8点开启的京东建材超级品类日,掀起了今秋第一场家装消费热潮。开售仅1小时,全品类成交额同比增长超2倍;截至8月21日23:59
2025-08-24 20:52:00
烈日炎炎!防晒美白需注意哪些关键因素?近日,护肤品牌谷雨研发负责人李安章从专业角度支招,向中新经纬产业一线栏目讲述防晒美白背后的研发与创新。来源:中新经纬编辑:熊思怡广告等商务合
2025-08-24 17:25:00
能感知环境,还能响应用户需求!全球首款人形机器人头部模组在贵安新区诞生
日前,贵安新区威迈尔科技有限公司(以下简称:威迈尔)正式推出全球首款人形机器人头部模组OmniHead(奥视知脑),为具身智能领域带来关键技术突破
2025-08-24 22:22:00
流量经济赋能长春农博会成果显著,线上销售额突破5200万元
第24届中国长春国际农业食品博览(交易)会胜利闭幕,在为期十天的展会上,流量经济赋能专区成为亮点。通过多平台联动、达人矩阵直播
2025-08-24 21:36:00
“车BA” 南京争霸
8月23日,“车BA”小米集团汽车部跨区域篮球争霸赛决赛在南京举行,来自北京、上海、武汉等地的7支参赛队伍齐聚古都南京,角逐冠军。 南京日报/紫金山新闻记者 段仁虎 摄
2025-08-24 09:50:00
“关不掉”的免密支付,肥了平台的钱包?
原标题| “关不掉”的免密支付,肥了平台的钱包?近日,话题“一定要关闭免密支付和自动扣款”冲上社交平台热搜,关于免密支付功能相关的讨论再次进入大众视野
2025-08-24 05:43:00
美国医疗巨头瞄准聚焦超声无创治疗赛道
近日,由美国医疗巨头强生等十余家机构组成财团,以22.5亿美元(约人民币161亿元)闪电收购了一家专注于“无创”超声波组织碎化技术(Histotripsy)的美国医疗科技公司HistoSonics多数股权
2025-08-24 07:02:00
家电业均价下滑!三翼鸟上海体验中心九成用户选高端
中国家电市场正经历均价下行的趋势。奥维云网数据显示,2025年第1周到第11周,空调、冰箱、洗衣机线上渠道均价同比分别下滑3
2025-08-23 08:20:00
在意大利:海尔空调销量TOP1
今夏,欧洲人经历了严酷“烤”验。八月初,受罕见热浪侵袭,意大利、法国等多国发布高温红色预警,西班牙南部气候飙升至46℃
2025-08-23 08:21:00
2025年,中国新材料产业总产值预计突破10万亿元,但在被列为“卡脖子”的多项关键材料中,国产化率不足30%。铝,作为全球产量第一
2025-08-23 08:22:00
单店年入过亿!三翼鸟上海体验中心是如何做到的?
当前,实体零售业正面临着变革与挑战,一方面,线上浪潮带来的冲击清晰可见:传统卖场客流锐减、部分门店面临关停挑战,《2025到店零售3
2025-08-23 08:22:00
省心比省钱重要!三翼鸟上海体验中心8成用户定制场景
当前,消费者在居家领域的决策逻辑正经历深刻变革。过往,性价比常是左右消费者选购家电、家居产品的核心要素,而如今,“省心”已逐渐攀升至决策考量的优先位置
2025-08-23 08:23:00
8月23日19:00,“河北五超”承德vs保定,最硬核的主场,承德“硬核宠粉”现场抽奖送钻石!
2025-08-23 08:53:00