• 我的订阅
  • 头条热搜
“最强开源AI模型”,4050亿参数版Meta Llama 3被曝7月23日发布
...援引内部员工曝料称 Meta 公司计划 7 月 23 日发布开源 AI 模型 Llama 3-405B,在现有 80 亿和 700 亿参数两个版本之外,推出 4050 亿参数版本,号称是最强大的开源大语言模型。Meta 公司今年 4 月发布 Llama 3 AI 模型时,扎克伯格就在采...……更多
比Stable Diffusion便宜118倍!1890美元训出11.6亿参数高质量文生图模型
...研究人员,利用延迟掩蔽、MoE、分层扩展等策略,将扩散模型的训练成本降到了1890美元。训练一个扩散模型要多少钱?之前最便宜的方法(Wuerstchen)用了28400美元,而像Stable Diffusion这样的模型还要再贵一个数量级。大模型时代...……更多
微调大模型,AMD MI300X就够了!跟着这篇博客微调Llama 3.1 405B
随着 AI 模型的参数量越来越大,对算力的需求也水涨船高。比如最近,Llama-3.1 登上了最强开源大模型的宝座,但超大杯 405B 版本的内存就高达 900 多 GB,这对算力构成了更加苛刻的挑战。如何降低算力的使用成本和使用门槛,...……更多
AI大模型行业报告:大模型发展迈入爆发期,开启AI新纪元(附下载)
技术:大模型发展呈现“规模定律”,Transformer为技术基座1.1 大模型“大力出奇迹”的背后:Scaling Law大规模语言模型(Large Language Models,LLM)泛指具有超大规模参数或者经过超大规模数据训练所得到的语言模型。与传统语言模...……更多
360智脑7b参数模型采用3.4万亿tokens训练
...12日消息,360公司日前在GitHub上开源了360智脑7B(70亿参数模型)。360智脑大模型采用3.4万亿Tokens的语料库训练,以中文、英文、代码为主,开放4K、32K、360K三种不同文本长度。360表示,360K(约50万字)是当前国产开源模型文本长...……更多
昆仑万维宣布开源2千亿稀疏大模型Skywork-MoE
...转自:中国新闻网6月3日,昆仑万维宣布开源2千亿稀疏大模型Skywork-MoE,性能强劲,同时推理成本更低。Skywork-MoE基于之前昆仑万维开源的Skywork-13B模型中间checkpoint扩展而来,是首个完整将MoE Upcycling技术应用并落地的开源千亿MoE...……更多
百川智能发布baichuan3稳定语言模型
1月29日,百川智能发布超千亿参数的大语言模型Baichuan3。在多个权威通用能力评测如CMMLU、GAOKAO和AGI-Eval中,Baichuan3都展现了出色的能力,尤其在中文任务上更是超越了GPT-4。而在数学和代码专项评测如MATH、HumanEval和MBPP中同样表...……更多
amd推出10亿参数语言模型系列amdolmo
...10月31日发布博文,宣布推出首个完全开放的10亿参数语言模型系列AMDOLMo,为开发者和研究人员提供强大的AI研究工具。AMDOLMo模型使用从零开始训练的10亿参数语言模型系列(LMs),在AMDInstinct™MI250GPU集群上训练,使用了超过1.3...……更多
Llama3.1根本卖不动!业内人士:开源模型成本反而更高
Meta的开源大模型Llama 3在市场上遇冷,进一步加剧了大模型开源与闭源之争的关注热度。据外媒The Information报道,Meta的开源大模型Llama 3一直难以在全球最大云厂商——亚马逊的AWS上获得关注,AWS的企业客户更倾向于使用Anthropic...……更多
1890美元,就能从头训练一个还不错的12亿参数扩散模型
...只用1890美元、3700 万张图像,就能训练一个还不错的扩散模型。现阶段,视觉生成模型擅长创建逼真的视觉内容,然而从头开始训练这些模型的成本和工作量仍然很高。比如 Stable Diffusion 2.1 花费了 200000 个 A100 GPU 小时。即使研...……更多
1行代码改进大模型训练,Llama训练速度升至1.47倍,华人团队出品
只要改一行代码,就能让大模型训练效率提升至1.47倍。拥有得州大学奥斯汀分校背景四名华人学者,提出了大模型训练优化器Cautious Optimizers。在提速的同时,Cautious能够保证训练效果不出现损失,而且语言和视觉模型都适用。...……更多
随着大模型的发展日新月异,其推理和训练的边界问题也引起了广泛讨论。近日,清程极智CEO汤雄超在一场行业活动中明确表示,尽管外界有声音认为OpenAI发布的o1模型模糊了推理和训练的界限,但从技术角度来看,这两个阶段...……更多
小模型越级挑战14倍参数大模型,谷歌Test-Time端新的Scaling Law
不必增加模型参数,计算资源相同,小模型性能超过比它大14倍的模型!谷歌DeepMind最新研究引发热议,甚至有人表示这可能就是OpenAI即将发布的新模型草莓所用的方法。研究团队探究了在大模型推理时进行计算优化的方法,根...……更多
大模型这把大火,烧到了手机领域
配图来自Canva可画AI大模型从年初一直火到了年尾,但似乎离普通人还有些距离。不过,现在情况似乎有了一些变化,各大手机厂商们,正在争先恐后地把大模型装进手机里,让AI变得“触手可及”。在很多人看来,手机厂商入...……更多
huggingface公布“smollm”小语言模型家族
7月20日消息,如今小语言模型开始升温,许多厂商开始推出适用于手机等轻量级设备的“小模型”,本周HuggingFace便公布了“SmolLM”小语言模型家族,其中包含1.35亿、3.6亿及17亿参数模型。据介绍,这些模型号称是以精心策划的...……更多
德国OpenAI加入开源大战!发布欧洲纯血版模型,曾获博世和惠普投资
...VentureBeat报道,德国AI创企Aleph Alpha今日发布了两个大语言模型(LLM)。这两个模型各拥有70亿个参数,可以在多种欧洲语言中提供简洁、长度可控的响应,并已开源。该公司宣称,其模型的性能可以与其他在70亿到80亿参数量级的...……更多
若愚科技推出九天机器人大脑,大模型总参数规模达130亿 |项目报道
...受瞩目的热门话题。在若愚科技CEO孙腾看来,机器人是大模型最理想的落地载体和应用平台,大模型的引入彻底改变了机器人仅能在单一场景下执行单一任务的困境,使机器人智能化水平显著提升,变得更聪明,能够承担更复杂...……更多
全球首次!时序大模型突破十亿参数,华人团队发布Time-MoE,预训练数据达3000亿个时间点
...而,构建一个兼具强大性能与高效运算的大规模时序预测模型始终是一个巨大的挑战。此外,高质量的大型公共时间序列数据库的匮乏进一步加剧了这一难题。近日,由来自普林斯顿大学、格里菲斯大学等全球多地的华人国际科...……更多
通义千问发布半年,大模型已不是阿里云唯一主角 | 焦点分析
...力”的内涵已经进化到了“AI算力”。阿里云并没有让大模型成为2023年云栖大会的主角,不过,大模型却又无处不在。做AI时代的“电动机” 今年4月正式亮相的通义千问,是阿里云自研的底层通用大模型。半年过去,如今阿里...……更多
微软论文一张截图,曝出GPT-3.5仅有200亿参数?AI圈巨震,网友大呼太离谱!
...乎「配得上」这个体量?GPT-3.5只有200亿参数?今天,大模型圈都被微软论文中的一纸截图刷爆了,究竟是怎么回事?就在前几天,微软发表了篇论文并挂在了arXiv上,该论文提出了一个参数量只有75M的小规模扩散模型——CodeFusio...……更多
专家模型不要专家并行!微软开源MoE新路径
...日,来自微软的研究人员开源了使用全新方法训练的MoE大模型,不走寻常路,且编码和数学表现出色。继Phi家族之后,微软又开源了新的混合专家大模型——GRIN MoE。与Phi-3.5同样的个头(16 * 3.8B),却采用了截然不同的训练方法...……更多
轻量级的模型亦有其存在的市场空间。2022年11月底,基于GPT-3.5的ChatGPT刚出来的时候,小米集团AI实验室主任、自然语言处理(NLP)首席科学家王斌给ChatGPT抛出一个问题:证明一下勾股定理。最终,ChatGPT给出了一个基于数学归...……更多
马斯克承诺开源版大模型 来了!Grok-1:3140亿参数迄今最大,权重架构全开放
...之心开源社区有福了。说到做到,马斯克承诺的开源版大模型 Grok 终于来了!今天凌晨,马斯克旗下大模型公司 xAI 宣布正式开源 3140 亿参数的混合专家(MoE)模型‘Grok-1’,以及该模型的权重和网络架构。这也使得Grok-1成为当...……更多
Meta首款多模态Llama 3.2开源!1B羊驼宝宝,跑在手机上了
...点在于,Llama 3.2成为羊驼家族中,首个支持多模态能力的模型。Connect大会上,新出炉的Llama 3.2包含了小型(11B)和中型(90B)两种版本的主要视觉模型。正如Meta所说,这两款模型能够直接替代,相对应的文本模型,而且在图像...……更多
鄂维南院士领衔新作:大模型不止有RAG、参数存储,还有第3种记忆
2.4B 的 Memory3比更大的 LLM 和 RAG 模型获得了更好的性能。近年来,大型语言模型 (LLM) 因其非凡的性能而获得了前所未有的关注。然而, LLM 的训练和推理成本高昂,人们一直在尝试通过各种优化方法来降低成本。本文来自上海算...……更多
微软连发3款Phi-3.5模型:128K上下文,首用MoE架构,部分性能超GPT-4o mini
...东西8月21日消息,今天,微软一口气甩出3款超强轻量级模型!微软本次发布的轻量级模型系列名为Phi-3.5,适合在内存和算力受限的环境中运行,均支持128k上下文长度。Phi-3.5-mini-instruct主要面向基础快速推理任务,Phi-3.5-MoE-instru...……更多
非Transformer架构站起来了!首个纯无注意力大模型,超越Llama 3.1
Mamba 架构的大模型又一次向 Transformer 发起了挑战。Mamba 架构模型这次终于要「站」起来了?自 2023 年 12 月首次推出以来,Mamba 便成为了 Transformer 的强有力竞争对手。此后,采用 Mamba 架构的模型不断出现,比如 Mistral 发布的首...……更多
扩散模型版CS: GO!世界模型+强化学习:2小时训练登顶Atari 100K
...读】DIAMOND是一种新型的强化学习智能体,在一个由扩散模型构建的虚拟世界中进行训练,能够以更高效率学习和掌握各种任务。在Atari 100k基准测试中,DIAMOND的平均得分超越了人类玩家,证明了其在模拟复杂环境中处理细节和进...……更多
以“价值创造”为导向,医渡科技自研大模型即将发布
...生成式AI场景论坛”发表主题演讲,系统分享了医疗垂域大模型的建设与应用。闫峻强调,技术应该从价值出发,否则即使技术再先进,缺乏实际价值也难以持续发展,“以价值创造为导向”也是医渡科技建设垂域大模型的基本理念,公...……更多
本文转自:劳动报2024世界人工智能大会探营:最新大模型产品抢先看■劳动报记者 陈宁7月4日至6日,2024世界人工智能大会将在上海拉开帷幕。今年“百模大战”热度依旧不减,大模型依然是这次大会的十大重点议题之一。据...……更多
更多关于科技的资讯:
【观点摘登】殷杰:新形态人机交互影响人性
生成式人工智能本身并不具有人性,但其在与人类的语言交互中,通过识别人类意图、回应认知和情感需求来满足人类欲望,无疑会深刻影响人们的理性
2025-01-17 22:41:00
王轶乐 对外经济贸易大学国际商学院摘要:内部控制是现代企业管理的重要组成部分,本文从内部控制的基本概念入手,探讨其在集团公司财务管理中的应用与实践
2025-01-17 23:14:00
李红香 东平县彭集街道社区卫生服务中心口腔科牙齿是人咀嚼食物的工具,也是美丽笑容的关键组成部分,对人的整体健康有着重要影响
2025-01-17 23:14:00
京东工业携手浙江维派 共建包装机械设备行业数智供应链标杆
近日,京东工业与国内头部包装机械设备品牌浙江维派达成战略合作,浙江维派总经理周柯胜与京东工业相关负责人出席签约仪式并进行座谈交流
2025-01-17 20:28:00
• 秉持"以人为本"理念,江森自控凭借在人力资源战略和实践方面的出色表现,再次赢得杰出雇主调研机构的肯定1月16日,杰出雇主调研机构 (Top Employers Institute) 正式发布"中国杰出雇主2025"榜单
2025-01-17 20:36:00
全球知名专家学者齐聚深圳,国际给药趋势研讨会释放哪些讯息?
1月17日,由全球雾化科技龙头企业思摩尔旗下MOYAL岚至主办的“跨界视野下未来给药技术趋势研讨会”在深圳召开。本次会议深入探讨了未来给药的行业趋势与技术路径
2025-01-17 20:56:00
新突破!中国首套年产50万吨新一代瓶片装置投产
快科技1月17日消息,据报道,我国首套采用聚酯中黏工艺技术建设的50万吨/年瓶级切片装置在中国石化仪征化纤公司成功投产
2025-01-17 21:27:00
趵突泉锦鲤胖的跟猪一样 园区:再喂就噶了!
快科技1月17日消息,据媒体综合报道,近日,济南趵突泉的锦鲤要减肥冲上了热搜。据报道,在趵突泉景区海豹池,一个印有“锦鲤减肥中心”的指示牌被放置在了池内
2025-01-17 21:27:00
纯黑外观+铝合金背板!傲世ODYSSEY征途锐炫B570显卡图赏
快科技1月17日消息,Intel近期推出了其第二代锐炫独立显卡系列,首波亮相的型号为B580与B570。其中,B580已率先上市
2025-01-17 21:27:00
自主研制!东方风电120米海上风电叶片顺利完成测试
快科技1月17日消息,据“东方电气”官微发文,东方电气集团所属东方风电公司自主研发的120米海上风电叶片,凭借完全自主知识产权
2025-01-17 21:27:00
男子23.5万买捷豹新车却无法提车 4S店:合格证被押银行了
快科技1月17日消息,据报道,曹先生上个月在杭州运通和乔4s店买了一辆捷豹,车价23万5千元。曹先生介绍,4S店称预计1月10日交车
2025-01-17 21:27:00
颜值感受下!美国空姐发机舱内跳舞视频被开除引热议 才刚结束试用期
1月17日消息,近日,一段关于美国一名空姐因在机舱内跳舞而被开除的事件在网络上持续发酵。1月16日,这名空姐发布了一段众筹视频
2025-01-17 21:27:00
马斯克:加州莫斯兰丁发电站起火事故与特斯拉无关 Megapack运行良好
快科技1月17日消息,据报道,特斯拉CEO马斯克在社交平台发文称,美国加利福尼亚州莫斯兰丁发电站起火事故与特斯拉无关,其Megapack储能电池模块运行良好
2025-01-17 21:27:00
华为加大产能!Mate 70系列基本不加价卖了
快科技1月17日消息,上市已经有段时间的Mate 70系列,随着产能的增加,溢价率也在慢慢消失。现在,有数码博主曝光了华为Mate 70系列部分机型的渠道价格
2025-01-17 21:27:00
保护人体健康的防线!人体最大免疫器官竟是肠道
快科技1月17日消息,据了解,肠道是人体最大的免疫器官,它不仅仅是机体消化吸收的地方,而且时刻抵挡着大量的病菌的侵入。肠道黏膜面积超过400平方米
2025-01-17 21:27:00