• 我的订阅
  • 头条热搜
全球最强开源大模型Llama 3发布:使用15T数据预训练,最大模型参数将超4000亿
就在刚刚,Meta 发布了其最先进开源大型语言模型的下一代产品——Llama 3。据介绍,Llama 3 在 24K GPU 集群上训练,使用了 15T 的数据,提供了 8B 和 70B 的预训练和指令微调版本,可以支持广泛的应用。同时,Llama 3 在广泛的行业...……更多
国产GPU万卡集群终于来了!摩尔线程CEO张建中:做难而正确的事
...张建中抛出一句掷地有声的断言。为什么必须是万卡?大模型行业变化很快,客户希望两周内结束战斗,最迟也得在1个月内训练完。假设训练一个5000亿参数模型,有15TB数据,如果只有1000P算力,3年都训不完;如果将时间锁到两...……更多
“最强开源AI模型”,4050亿参数版Meta Llama 3被曝7月23日发布
...援引内部员工曝料称 Meta 公司计划 7 月 23 日发布开源 AI 模型 Llama 3-405B,在现有 80 亿和 700 亿参数两个版本之外,推出 4050 亿参数版本,号称是最强大的开源大语言模型。Meta 公司今年 4 月发布 Llama 3 AI 模型时,扎克伯格就在采...……更多
腾讯发布最大开源MoE模型,3890亿参数免费可商用
...家本领,来挤开源赛道,突然发布了市面上最大的开源MoE模型。Hunyuan-Large,3890亿总参数,520亿激活参数。跑分超过Llama 3.1 405B等开源旗舰,上下文长度支持也高出一档来到256k。虽然Hunyuan-Large还不算腾讯内部的旗舰模型,但腾讯...……更多
比Stable Diffusion便宜118倍!1890美元训出11.6亿参数高质量文生图模型
...研究人员,利用延迟掩蔽、MoE、分层扩展等策略,将扩散模型的训练成本降到了1890美元。训练一个扩散模型要多少钱?之前最便宜的方法(Wuerstchen)用了28400美元,而像Stable Diffusion这样的模型还要再贵一个数量级。大模型时代...……更多
微调大模型,AMD MI300X就够了!跟着这篇博客微调Llama 3.1 405B
随着 AI 模型的参数量越来越大,对算力的需求也水涨船高。比如最近,Llama-3.1 登上了最强开源大模型的宝座,但超大杯 405B 版本的内存就高达 900 多 GB,这对算力构成了更加苛刻的挑战。如何降低算力的使用成本和使用门槛,...……更多
AI大模型行业报告:大模型发展迈入爆发期,开启AI新纪元(附下载)
技术:大模型发展呈现“规模定律”,Transformer为技术基座1.1 大模型“大力出奇迹”的背后:Scaling Law大规模语言模型(Large Language Models,LLM)泛指具有超大规模参数或者经过超大规模数据训练所得到的语言模型。与传统语言模...……更多
360智脑7b参数模型采用3.4万亿tokens训练
...12日消息,360公司日前在GitHub上开源了360智脑7B(70亿参数模型)。360智脑大模型采用3.4万亿Tokens的语料库训练,以中文、英文、代码为主,开放4K、32K、360K三种不同文本长度。360表示,360K(约50万字)是当前国产开源模型文本长...……更多
开源社区参数量最大的文生视频模型来了,腾讯版Sora免费使用
...又多了一个选择!今日,腾讯宣布旗下的混元视频生成大模型(HunYuan-Video )对外开源,模型参数量 130 亿,可供企业与个人开发者免费使用。目前该模型已上线腾讯元宝 APP,用户可在 AI 应用中的「AI 视频」板块申请试用。腾讯...……更多
全球首个!中国电信完成千卡、千亿参数模型500公里联合训练试商用
...、北京电信成功了 完成业内首个1024卡、千亿参数商用大模型的分布式联合训练真实用户试商用。通过天津市武清区到北京市大兴区瀛海镇之间的真实光路环回,实现了500公里长距互联分布式训练,而且训练性能达到单数据中心...……更多
昆仑万维宣布开源2千亿稀疏大模型Skywork-MoE
...转自:中国新闻网6月3日,昆仑万维宣布开源2千亿稀疏大模型Skywork-MoE,性能强劲,同时推理成本更低。Skywork-MoE基于之前昆仑万维开源的Skywork-13B模型中间checkpoint扩展而来,是首个完整将MoE Upcycling技术应用并落地的开源千亿MoE...……更多
amd推出10亿参数语言模型系列amdolmo
...10月31日发布博文,宣布推出首个完全开放的10亿参数语言模型系列AMDOLMo,为开发者和研究人员提供强大的AI研究工具。AMDOLMo模型使用从零开始训练的10亿参数语言模型系列(LMs),在AMDInstinct™MI250GPU集群上训练,使用了超过1.3...……更多
百川智能发布baichuan3稳定语言模型
1月29日,百川智能发布超千亿参数的大语言模型Baichuan3。在多个权威通用能力评测如CMMLU、GAOKAO和AGI-Eval中,Baichuan3都展现了出色的能力,尤其在中文任务上更是超越了GPT-4。而在数学和代码专项评测如MATH、HumanEval和MBPP中同样表...……更多
1890美元,就能从头训练一个还不错的12亿参数扩散模型
...只用1890美元、3700 万张图像,就能训练一个还不错的扩散模型。现阶段,视觉生成模型擅长创建逼真的视觉内容,然而从头开始训练这些模型的成本和工作量仍然很高。比如 Stable Diffusion 2.1 花费了 200000 个 A100 GPU 小时。即使研...……更多
Llama3.1根本卖不动!业内人士:开源模型成本反而更高
Meta的开源大模型Llama 3在市场上遇冷,进一步加剧了大模型开源与闭源之争的关注热度。据外媒The Information报道,Meta的开源大模型Llama 3一直难以在全球最大云厂商——亚马逊的AWS上获得关注,AWS的企业客户更倾向于使用Anthropic...……更多
1行代码改进大模型训练,Llama训练速度升至1.47倍,华人团队出品
只要改一行代码,就能让大模型训练效率提升至1.47倍。拥有得州大学奥斯汀分校背景四名华人学者,提出了大模型训练优化器Cautious Optimizers。在提速的同时,Cautious能够保证训练效果不出现损失,而且语言和视觉模型都适用。...……更多
随着大模型的发展日新月异,其推理和训练的边界问题也引起了广泛讨论。近日,清程极智CEO汤雄超在一场行业活动中明确表示,尽管外界有声音认为OpenAI发布的o1模型模糊了推理和训练的界限,但从技术角度来看,这两个阶段...……更多
小模型越级挑战14倍参数大模型,谷歌Test-Time端新的Scaling Law
不必增加模型参数,计算资源相同,小模型性能超过比它大14倍的模型!谷歌DeepMind最新研究引发热议,甚至有人表示这可能就是OpenAI即将发布的新模型草莓所用的方法。研究团队探究了在大模型推理时进行计算优化的方法,根...……更多
大模型这把大火,烧到了手机领域
配图来自Canva可画AI大模型从年初一直火到了年尾,但似乎离普通人还有些距离。不过,现在情况似乎有了一些变化,各大手机厂商们,正在争先恐后地把大模型装进手机里,让AI变得“触手可及”。在很多人看来,手机厂商入...……更多
huggingface公布“smollm”小语言模型家族
7月20日消息,如今小语言模型开始升温,许多厂商开始推出适用于手机等轻量级设备的“小模型”,本周HuggingFace便公布了“SmolLM”小语言模型家族,其中包含1.35亿、3.6亿及17亿参数模型。据介绍,这些模型号称是以精心策划的...……更多
若愚科技推出九天机器人大脑,大模型总参数规模达130亿 |项目报道
...受瞩目的热门话题。在若愚科技CEO孙腾看来,机器人是大模型最理想的落地载体和应用平台,大模型的引入彻底改变了机器人仅能在单一场景下执行单一任务的困境,使机器人智能化水平显著提升,变得更聪明,能够承担更复杂...……更多
德国OpenAI加入开源大战!发布欧洲纯血版模型,曾获博世和惠普投资
...VentureBeat报道,德国AI创企Aleph Alpha今日发布了两个大语言模型(LLM)。这两个模型各拥有70亿个参数,可以在多种欧洲语言中提供简洁、长度可控的响应,并已开源。该公司宣称,其模型的性能可以与其他在70亿到80亿参数量级的...……更多
全球首次!时序大模型突破十亿参数,华人团队发布Time-MoE,预训练数据达3000亿个时间点
...而,构建一个兼具强大性能与高效运算的大规模时序预测模型始终是一个巨大的挑战。此外,高质量的大型公共时间序列数据库的匮乏进一步加剧了这一难题。近日,由来自普林斯顿大学、格里菲斯大学等全球多地的华人国际科...……更多
微软论文一张截图,曝出GPT-3.5仅有200亿参数?AI圈巨震,网友大呼太离谱!
...乎「配得上」这个体量?GPT-3.5只有200亿参数?今天,大模型圈都被微软论文中的一纸截图刷爆了,究竟是怎么回事?就在前几天,微软发表了篇论文并挂在了arXiv上,该论文提出了一个参数量只有75M的小规模扩散模型——CodeFusio...……更多
小米开源首个推理大模型Xiaomi MiMo:7B参数就超越OpenAI o1-mini
...官方今天正式宣布,开源首个为推理(Reasoning)而生的大模型——Xiaomi MiMo。据介绍,Xiaomi MiMo在数学推理(AIME 24-25)和代码竞赛(LiveCodeBench v5)公开测评集上,MiMo仅用7B的参数规模,超越了OpenAI的闭源推理模型o1-mini和……更多
通义千问发布半年,大模型已不是阿里云唯一主角 | 焦点分析
...力”的内涵已经进化到了“AI算力”。阿里云并没有让大模型成为2023年云栖大会的主角,不过,大模型却又无处不在。做AI时代的“电动机” 今年4月正式亮相的通义千问,是阿里云自研的底层通用大模型。半年过去,如今阿里...……更多
专家模型不要专家并行!微软开源MoE新路径
...日,来自微软的研究人员开源了使用全新方法训练的MoE大模型,不走寻常路,且编码和数学表现出色。继Phi家族之后,微软又开源了新的混合专家大模型——GRIN MoE。与Phi-3.5同样的个头(16 * 3.8B),却采用了截然不同的训练方法...……更多
马斯克承诺开源版大模型 来了!Grok-1:3140亿参数迄今最大,权重架构全开放
...之心开源社区有福了。说到做到,马斯克承诺的开源版大模型 Grok 终于来了!今天凌晨,马斯克旗下大模型公司 xAI 宣布正式开源 3140 亿参数的混合专家(MoE)模型‘Grok-1’,以及该模型的权重和网络架构。这也使得Grok-1成为当...……更多
轻量级的模型亦有其存在的市场空间。2022年11月底,基于GPT-3.5的ChatGPT刚出来的时候,小米集团AI实验室主任、自然语言处理(NLP)首席科学家王斌给ChatGPT抛出一个问题:证明一下勾股定理。最终,ChatGPT给出了一个基于数学归...……更多
Meta首款多模态Llama 3.2开源!1B羊驼宝宝,跑在手机上了
...点在于,Llama 3.2成为羊驼家族中,首个支持多模态能力的模型。Connect大会上,新出炉的Llama 3.2包含了小型(11B)和中型(90B)两种版本的主要视觉模型。正如Meta所说,这两款模型能够直接替代,相对应的文本模型,而且在图像...……更多
更多关于科技的资讯:
蚂蚁集团大动作!“阿福”APP来了:新增健康陪伴功能 问答能力升级
12月15日消息,蚂蚁集团宣布旗下AI健康应用AQ品牌升级为“蚂蚁阿福”,并发布APP新版本,升级健康问答、健康陪伴、健康服务三大功能
2025-12-17 10:18:00
项目卡壳90%是资源管理“掉链子” ?易趋教你四步破局
“张总,研发部李工被临时抽去支持紧急项目,咱们的核心模块开发得延期了”,“设备组反馈,原定下周到位的测试服务器,现在还在另一个项目组占用着”
2025-12-17 11:10:00
远见协同:解码米连科技稳健发展的深层动能
在互联网行业潮起潮落、监管环境持续完善的背景下,一家企业如何锚定航向,实现可持续的稳健增长?这不仅考验着创始团队的初心
2025-12-17 11:10:00
赋能印度农业现代化丨潍柴雷沃亮相第33届印度浦那国际农业展
鲁网12月17日讯日前,第33届印度浦那国际农业展KISAN在浦那国际展览中心举办。作为印度西部规模最大、最具影响力的农业展会
2025-12-17 11:18:00
面对“哪些中国企业全球化做的不错?”这一问题,联想集团无疑是具有代表性的答案之一。作为出海时间早、全球化程度深的中国企业
2025-12-17 11:52:00
京东产发与日日顺达成全球战略合作 共建超级供应链新生态
近日,京东产发与日日顺供应链正式达成全球战略合作,建立共创共赢的生态战略合作关系。 双方在物流基础设施、仓配网络、供应链管理等良好的合作基础上
2025-12-17 10:11:00
【宅男财经|专家面对面】当前许多年轻人热衷于“谷子”、棉花娃娃等小众二次元文化产品。针对年轻人为何更偏爱此类小众消费,中国广告协会会长
2025-12-17 10:12:00
“我喜欢我”:vivo S50系列携“告白”美学与长焦Live,开启自我表达新旅程
2025年12月15日,vivo正式发布全新 vivo S50系列,包括 vivo S50 与 vivo S50 Pro mini 两款新品
2025-12-17 10:18:00
聚焦企业福祉与跨境管理 百年人寿协办德国商会专题论坛共话创新解决方案
2025年12月5日,一场聚焦于在华企业福利创新与人力资源挑战的高端论坛于北京成功举行。本次活动由中国德国商会与安顾方胜联合主办
2025-12-17 10:18:00
为积极响应全民消费热潮,充分发挥金融服务实体经济的重要作用,江苏银行围绕 “双十二” 消费节点,精心部署多项线上促消费举措
2025-12-17 10:18:00
王志顺最近,社交平台被一批“装修博主”刷屏了——清一色的夫妻站在新家门口微笑合影,有的怀里还抱着婴儿,配文都是“装修已定”“聊聊感受”
2025-12-17 10:40:00
新闻纵深|“十四五 ”微记忆③:“丝网二代”的智造突围
阅读提示数智浪潮,奔涌而至。过去五年,人工智能等前沿科技,以不可逆转之势重塑千行百业。在安平,年轻的“丝网二代”逯千里
2025-12-17 08:09:00
国潮服饰消费热度 仍在上升
近期,在多地举行的时装周秀场上,马面裙等国潮服饰一经亮相就成为全场焦点;森马等传统服装品牌于近期宣布将推出国潮系列产品
2025-12-17 07:18:00
12月11日,我国自主研发的高空长航时多用途重型“九天苍穹”无人航空通用平台在陕西圆满完成首飞任务。这款性能位居全球前列的大型通用无人机横空出世
2025-12-17 07:35:00
记者走基层|手机没电没网 也能“硬核”付款
12月9日,雄安新区商务服务中心雄礼记商店内,市民孟令双(左)在手机关机的情况下,通过“碰一碰”完成购物付款。河北日报见习记者 康晓博摄“嘀”一声
2025-12-17 08:03:00