• 我的订阅
  • 头条热搜
ai公司mosaicml推出300亿参数模型
6月25日消息,AI创业公司MosaicML近日发布了其语言模型MPT-30B,该模型具有300亿参数,训练成本“仅有其他同类竞品模型的零头”,有望促进行业逐步降低此类模型训练成本,扩大AI模型在更广泛领域的运用。▲图源MosaicMLMosaicML公...……更多
GPT-4被破解 训练成本 模型架构的秘密都被挖出来了?
...字节跳动、百度等在短期内都将拥有与 GPT-4 一样强大的模型。不要误解我们的意思,OpenAI 拥有令人惊叹的工程技术,他们构建的东西令人难以置信,但他们得出的解决方案并不神奇。这是一个优雅的解决方案,具有许多复杂的...……更多
微软、英伟达纷纷押注小模型,大模型不香了?
...发展的道路上,科技巨头们曾经竞相开发规模庞大的语言模型,但如今出现了一种新趋势:小型语言模型(SLM)正逐渐崭露头角,挑战着过去“越大越好”的观念。视觉中国当地时间8月21日,微软和英伟达相继发布了最新的小型...……更多
垂直大模型竞争,能突破数据“卡点”吗?
AI大模型火遍全球,中国产业也激发了对人工智能应用的新热情。随着各大厂商参与竞逐,市场正在分化为通用与垂直两大路径,两者在参数级别、应用场景、商业模式等方面差异已逐步显现。01 企业涌入垂直大模型赛道通用AI...……更多
百川智能、阿里云等进入开源大模型领域,开启商业化前奏
闭源商业化的“百模大战”暂告段落,开源大模型仍旧热闹。今年7月Meta推出开源且免费的大型语言模型LLama2后,基于该模型微调的大模型不断涌现。此外,阿联酋阿布扎比技术创新研究所推出大参数模型Falcon180B,国内8、9月份...……更多
ChatGPT走红背后:苦熬五年,三次AI路线迭代|行业观察
...(吟游诗人)。就在同天,百度官宣将基于自家的文心大模型,推出类ChatGPT的产品"文心一言"。当日下午,国内搜索引擎市场的第二名360紧随其后,披露自家已在内部使用这类产品,同样计划尽快推出类ChatGPT的Demo版产品。消息...……更多
近日,OpenAI今年3月发布的GPT-4大模型的详细参数和信息被揭秘。据了解,GPT-4在120层中总共包含了1.8万亿参数,相比之下,GPT-3只有约1750亿个参数。为了保持合理的成本,OpenAI采用混合专家模型来进行构建。混合专家模型是一种...……更多
大模型新趋势之MoE:现状、挑战及研究方向
2024年,全球主流企业加快推出MoE大模型,1-5月发布千亿以上大模型均采用MoE优化架构,且数量超过近三年总和。MoE大模型架构凭借平衡大模型训推成本和计算效率等优势,更适合处理大规模数据和复杂任务,已成谷歌、OpenAI、...……更多
gpt-4模型架构泄露:包含1.8万亿参数、采用混合专家模型
外媒Semianalysis近日对OpenAI今年3月发布的GPT-4大模型进行了揭秘,其中包括GPT-4模型架构、训练和推理的基础设施、参数量、训练数据集、token数、成本、混合专家模型(MixtureofExperts)等具体的参数和信息。▲图源 Semianalysis外媒...……更多
GPT-4震惊四座,中国创业者激战“小模型” | Future
...【Future】。发布ChatGPT仅三个多月后,OpenAI亲手为这场大模型热潮再添了把柴火。北京时间3月15日凌晨,OpenAI在官网上宣告了多模态大模型GPT4的诞生。优化了模型可支持的输入模态、文本长度等性能之外,OpenAI在GPT-4的基础上升...……更多
第一个100%开源的MoE大模型,7B的参数,1B的推理成本
... checkpoint、训练日志和训练数据都已经开源。尽管大语言模型 (LM) 在各种任务上取得了重大进展,但在训练和推理方面,性能和成本之间仍然需要权衡。对于许多学者和开发人员来说,高性能的 LM 是无法访问的,因为它们的构建...……更多
中国最大开源MoE模型,255B参数无条件免费商用,元象发布
元象XVERSE发布中国最大MoE开源模型:XVERSE-MoE-A36B,该模型总参数255B,激活参数36B,达到100B模型性能的「跨级」跃升。同时训练时间减少30%,推理性能提升100%,使每token成本大幅下降。在多个权威评测中,元象MoE效果大幅超越多...……更多
chatgpt低成本复现流程开源
首个开源的ChatGPT低成本复现流程来了!预训练、奖励模型训练、强化学习训练,一次性打通。最小demo训练流程仅需1.62GB显存,随便一张消费级显卡都能满足了。单卡模型容量最多提升10.3倍。相比原生PyTorch,单机训练速度最高...……更多
...闻网中新网北京6月3日电 (记者 夏宾)近年来,为了追求大模型的智慧能力,各国公司不停加码投入,4月,Meta宣布追加10亿美元投资,用于其AI芯片研发和AI数据中心建设;亚马逊为了建设新数据中心投入110亿美元。但在大模型扩...……更多
超30个国产大模型混战:华为百度阿里腾讯,谁能成为“中国的OpenAI”?
...上万张GPU训练算力,并成立对标OpenAI的X.AI公司以开发大模型。ChatGPT引爆的AI大模型,正在成为全球科技巨头竞相追逐的新战场。国外有微软、谷歌、亚马逊,国内更是遍地开花。“大模型发布月”名不虚传,刚刚过去的一周基...……更多
Llama3.1根本卖不动!业内人士:开源模型成本反而更高
Meta的开源大模型Llama 3在市场上遇冷,进一步加剧了大模型开源与闭源之争的关注热度。据外媒The Information报道,Meta的开源大模型Llama 3一直难以在全球最大云厂商——亚马逊的AWS上获得关注,AWS的企业客户更倾向于使用Anthropic...……更多
chatgpt低成本复现流程来了
首个开源的ChatGPT低成本复现流程来了!预训练、奖励模型训练、强化学习训练,一次性打通。最小demo训练流程仅需 1.62GB 显存,随便一张消费级显卡都能满足了。单卡模型容量最多提升 10.3倍。相比原生PyTorch,单机训练速度最...……更多
1890美元,就能从头训练一个还不错的12亿参数扩散模型
...只用1890美元、3700 万张图像,就能训练一个还不错的扩散模型。现阶段,视觉生成模型擅长创建逼真的视觉内容,然而从头开始训练这些模型的成本和工作量仍然很高。比如 Stable Diffusion 2.1 花费了 200000 个 A100 GPU 小时。即使研...……更多
...外版美国斯坦福大学等机构研究团队近日宣布,在基座大模型基础上,仅耗费数十美元就开发出相对成熟的推理模型。尽管其整体性能尚无法比肩美国开放人工智能研究中心(OpenAI)开发的o1、中国深度求索公司的DeepSeek-R1等,...……更多
训练一次ChatGPT,“折寿”3000辆特斯拉
...聊天应用ChatGPT风靡全球后,立即在全球范围内掀起了大模型开发的热潮。但准备参战的玩家们很快便认清现实,这不过是一场由巨头主宰的游戏,其中的关键,就是能耗。知名计算机专家吴军的形容并不夸张——ChatGPT每训练一...……更多
面壁智能发布2B模型:适配主流手机,推理成本仅为GPT-4的1/360 | 最前线
文 | 周鑫雨编辑 | 邓咏仪当大模型加速应用落地,运行成本就成为各厂商的现实考量。将模型做小,成为现实市场需求下的趋势。但模型的Scaling Law(规模定律)已指出,参数规模是决定模型性能的最关键因素。如何用更小的参...……更多
一键解锁ChatGPT原理与应用
在这段时间,有关大语言模型的消息频频传出,许多人也逐渐了解、甚至开始应用起相关的AI软件。那么,你了解GPT模型的原理是什么吗?大模型和传统AI的区别在于哪里?其应用可以体现于哪些方面?一起来看看作者的分析和...……更多
小模型正在成为AI界的新宠
大模型的发展已经进入了万亿级参数时代。DeepMind 联合创始人穆斯塔法・苏莱曼(Mustafa Suleyman)预测, 仅在未来三年内,大模型规模以惊人的速度继续扩张,将增长 1000 倍。一方面,模型的参数量与其能够处理和学习的复杂性...……更多
OpenAI CEO宣布转向,“大模型时代”即将结束?
...然在这个月几乎每周都至少有一家科技大公司入局训练大模型,但OpenAI 却突然改变了方向声称,大模型时代已经要结束了。上周末在麻省理工学院,OpenAI 的 CEO 在演讲中警告称:我们已经处在大模型时代的尾声,并表示如今的 A...……更多
Meta祭出三篇最详尽Llama微调指南!千字长文,0基础小白必备
...开的彻彻底底。这不,Meta一连放出三篇技术文章,从大模型适配方法出发,介绍了:如何使用特定领域数据微调LLM,如何确定微调适配自己的用例,以及如何管理良好训练数据集的经验法则。接下来,直接进入正题。适配大模...……更多
重复造轮子的百模大战:两极热 中间空
...粟“不敢下手,现在中国还没跑出来一家绝对有优势的大模型,上层应用没法投,担心押错宝。”投资人Jucy(化名)向光锥智能表示,AI项目看得多、投的少是这段时间的VC常态。ChatGPT点燃AI大爆炸2个月中,中国一直在等待自己...……更多
鄂维南院士领衔新作:大模型不止有RAG、参数存储,还有第3种记忆
2.4B 的 Memory3比更大的 LLM 和 RAG 模型获得了更好的性能。近年来,大型语言模型 (LLM) 因其非凡的性能而获得了前所未有的关注。然而, LLM 的训练和推理成本高昂,人们一直在尝试通过各种优化方法来降低成本。本文来自上海算...……更多
Meta开源“次世代”大模型Llama 2,降低企业开发成本
Meta公司本周发布了人工智能模型Llama2的开源商用版本,这对于大量的开发者而言是一个福音,意味着大模型应用进入了“免费时代”,初创公司也能够以低廉的价格来创建类似ChatGPT这样的聊天机器人。猎豹移动创始人、董事长...……更多
全球首个!中国电信完成千卡、千亿参数模型500公里联合训练试商用
...、北京电信成功了 完成业内首个1024卡、千亿参数商用大模型的分布式联合训练真实用户试商用。通过天津市武清区到北京市大兴区瀛海镇之间的真实光路环回,实现了500公里长距互联分布式训练,而且训练性能达到单数据中心...……更多
开源狂潮让巨头惨败,谷歌内部文件曝光
...的LLMs:在Pixel6上,以每秒5个token的速度,就能运行基础模型。可扩展的个人AI:只要一个晚上,就能在笔记本电脑上微调出一个个性化AI。负责任的发布:这一点倒是没有「解决」,说「避免」会更贴切。现在网上到处都是充满...……更多
更多关于科技的资讯:
盒马启用“电子验蟹师”,专挑肥满度超七成的报恩大闸蟹
秋分一过,大闸蟹长成,开始批量上市。近期,盒马的大闸蟹也正式上架,还做出了“不肥包退”的承诺。能够做到“不肥包退”,是因为今年盒马推出了首个大闸蟹分级企业标准
2025-09-24 20:37:00
康宝莱全球产品创新中心焕新启航 智驱未来 聚力共赢
2025年9月23日,上海 - 全球知名的健康公司康宝莱今日在上海举行“康宝莱全球产品创新中心”揭幕仪式。该中心由原“康宝莱中国产品创新中心”战略升级而成
2025-09-24 20:45:00
近日,由山东移动张店公司为区融媒体中心量身打造的“智慧研学服务平台”正式投入使用。该平台以信息化手段打通家长、教师、基地之间的信息壁垒
2025-09-24 20:48:00
2025第五届邹区国际照明博览会将于9月26日启幕
备受行业关注的2025第五届邹区国际照明博览会将于9月26日正式拉开帷幕,将集合全球照明领域的最新技术成果与产品,致力于促进产业链各环节的深度协作
2025-09-24 20:55:00
冲刺三季度 决胜下半年|华药(十堰)药业:AI“慧眼”识药 质效大幅提升
十堰广电讯(全媒体记者 翁红)华药(十堰市)药业有限公司中药饮片生产线项目是京堰对口协作重点招商项目。自今年6月试生产以来
2025-09-24 21:00:00
我武生物践行“实业报国,治病救人”,无偿助力“畅享呼吸”
由北京康盟慈善基金会与北京生命绿洲公益服务中心共同发起的“医药筹—畅享呼吸患者援助项目”,将于2025年10月1日起正式将援助范围扩展至甘肃省
2025-09-24 21:24:00
华为这一突破,意义非同寻常
(一)关注中国科技,我们必须关注华为;关注华为,我们必然就看到这一突破。我的第一感觉,这个突破,意义非凡。对华为来说是这样
2025-09-24 07:34:00
全球首发,钟楼智造闪耀第25届中国国际工业博览会!
9月23日第25届中国国际工业博览会(简称“工博会”)在上海盛大启幕这场聚焦“新质”展现大国工业硬核实力的博览会以“工业新质
2025-09-24 20:55:00
在制造业提质增效的浪潮中,那些藏在生产环节里的“细枝末节”,往往藏着撬动效益升级的关键密码。近日,太重包储分公司的散件箱优化项目传来捷报
2025-09-24 07:52:00
被3000亿资金哄抢的创新药企,上市首日暴涨110%
文|胡香赟编辑|海若镜港股迎来今年第11家上市的创新药公司。9月19日,劲方医药在港交所挂牌,首日涨幅接近110%、市值逼近150亿
2025-09-24 06:26:00
2025北京文化论坛“虚实无界:视听产业融合破圈”平行论坛举办
中国青年报客户端北京9月23日电(中青报·中青网记者 沈杰群)今天,2025北京文化论坛平行论坛——“虚实无界:视听产业融合破圈”在北京国际饭店会议中心举行
2025-09-24 00:03:00
中信银行南京分行成功举办“小天元”企业生态服务平台江苏区域发布会
9月22日下午,在百余家江苏企业代表的共同见证下,中信银行“小天元”企业生态服务平台江苏区域发布会暨“进万企 信服惠企”系列活动在南京成功举办
2025-09-23 23:15:00
聚焦京津冀协同发展|一个平台,推动黄骅模具迈向高端
北京市科学技术委员会牵头,京冀相关单位共建智能模具科技成果转化中试平台一个平台,推动黄骅模具迈向高端9月11日,智能模具科技成果转化中试平台工作人员正在操作四轴机床进行生产
2025-09-23 08:49:00
AI赋能千行百业一线故事(十二):数智化转型,让电厂越来越智慧
数智化转型,让电厂越来越智慧——AI赋能千行百业一线故事(十二)8月28日,石家庄良村热电有限公司生产技术部专业主管苏朝宏介绍智慧展厅
2025-09-23 08:53:00
“产业炬光灯”系列短视频首期聚焦中材航特
“产业炬光灯”系列短视频于厦门日报官方视频号、抖音号、快手号、B站账号、央视频账号等全媒体平台同步上线,首期节目走进中材航特
2025-09-23 08:58:00