• 我的订阅
  • 头条热搜
谷歌开源最强端侧小模型:2B参数越级跑赢GPT-3.5-Turbo
谷歌也来卷「小」模型了,一出手就是王炸,胜过了比自己参数多得多的GPT-3.5、Mixtral竞品模型。今年 6 月底,谷歌开源了 9B、27B 版 Gemma 2 模型系列,并且自亮相以来,27B 版本迅速成为了大模型竞技场 LMSYS Chatbot Arena 中排名最...……更多
小模型正在成为AI界的新宠
大模型的发展已经进入了万亿级参数时代。DeepMind 联合创始人穆斯塔法・苏莱曼(Mustafa Suleyman)预测, 仅在未来三年内,大模型规模以惊人的速度继续扩张,将增长 1000 倍。一方面,模型的参数量与其能够处理和学习的复杂性...……更多
免训练大模型知识编辑,吸收新数据更高效|EMNLP\'24
让大模型能快速、准确、高效地吸收新知识!被EMNLP 2024收录的一项新研究,提出了一种检索增强的连续提示学习新方法,可以提高知识终身学习的编辑和推理效率。模型编辑旨在纠正大语言模型中过时或错误的知识,同时不需...……更多
第一个100%开源的MoE大模型,7B的参数,1B的推理成本
... checkpoint、训练日志和训练数据都已经开源。尽管大语言模型 (LM) 在各种任务上取得了重大进展,但在训练和推理方面,性能和成本之间仍然需要权衡。对于许多学者和开发人员来说,高性能的 LM 是无法访问的,因为它们的构建...……更多
...策略。我们深入研究了统计学在AI算法开发、数据分析和模型优化方面的作用。通过采用统计学方法,可以提高AI系统的性能、准确性和稳定性,从而更好地满足不同应用领域的需求。此外,我们还探讨了在AI系统中应用统计学方...……更多
iPhone可跑2B小钢炮!谷歌Gemma 2来袭,最强显微镜剖解LLM大脑
【新智元导读】谷歌DeepMind的小模型核弹来了,Gemma 2 2B直接击败了参数大几个数量级的GPT-3.5和Mixtral 8x7B!而同时发布的Gemma Scope,如显微镜一般打破LLM黑箱,让我们看清Gemma 2是如何决策的。谷歌DeepMind的小模型,又上新了!就...……更多
大模型新趋势之MoE:现状、挑战及研究方向
2024年,全球主流企业加快推出MoE大模型,1-5月发布千亿以上大模型均采用MoE优化架构,且数量超过近三年总和。MoE大模型架构凭借平衡大模型训推成本和计算效率等优势,更适合处理大规模数据和复杂任务,已成谷歌、OpenAI、...……更多
突破瓶颈!华为两大AI存储新品推进AI赋能千行百业
2023年,AI大模型的爆发成功引起连锁反应,头部厂商纷纷入局,推出自家的大模型。根据科技部新一代人工智能发展研究中心5月底发布的《中国人工智能大模型地图研究报告》显示,我国10亿参数规模以上的大模型已发布79个,...……更多
清华教授唐杰:Scaling Laws虽被质疑,但至今仍是提高大模型性能的重要方法
清华大学计算机系讲席教授、人工智能研究院基础模型研究中心主任唐杰出品|搜狐科技作者|郑松毅2024年已过半,大模型之争热度不减,通往AGI的路究竟该怎么走?近日,清华大学计算机系讲席教授、人工智能研究院基础模...……更多
深度学习在AI教育中的应用及其关键技术探究
...标准化和归一化以及特征选择和降维技术。最后,介绍了模型构建和训练的关键步骤,包括深度学习模型的选择和设计、模型初始化和参数调整、批量梯度下降和优化算法以及学习率调整和模型评估。通过这些步骤,可以提高深...……更多
优刻得首个「国产千卡智算集群」落地,支持智源千亿大模型训练
...算集群规模,才能一路突破围追堵截,进一步促进国产大模型产业生态繁荣。作为中立、安全的云计算服务厂商,优刻得持续发力人工智能智算领域,与国内主流AI芯片厂商深度合作,共同搭建的「国产千卡智算集群」现已上线...……更多
开源社区分水岭:Meta大模型Llama 3发布,参数最高或达4000亿
为了保持公司在AI(人工智能)开源大模型领域的地位,社交巨头Meta推出了旗下最新开源模型。当地时间4月18日,Meta在官网上宣布公布了旗下最新大模型Llama 3。目前,Llama 3已经开放了80亿(8B)和700亿(70B)两个小参数版本,...……更多
量子人工智能性能飞跃有望?新技术突破将机器学习推入新境界……
...一种技术,通过引入比必要情况更多的参数或变量来提高模型的性能和训练动态。在这种方法中,模型中的参数数量被有意设置为远大于可用训练样本或数据维度的数量。尽管参数多于所需数量是违反直觉的,但人们发现过参数...……更多
比Stable Diffusion便宜118倍!1890美元训出11.6亿参数高质量文生图模型
...研究人员,利用延迟掩蔽、MoE、分层扩展等策略,将扩散模型的训练成本降到了1890美元。训练一个扩散模型要多少钱?之前最便宜的方法(Wuerstchen)用了28400美元,而像Stable Diffusion这样的模型还要再贵一个数量级。大模型时代...……更多
挑战Scaling Law,Meta发布移动端350M小模型MobileLLM,性能比肩7B LLaMA-v2
【新智元导读】Scaling Law还没走到尽头,「小模型」逐渐成为科技巨头们的追赶趋势。Meta最近发布的MobileLLM系列,规模甚至降低到了1B以下,两个版本分别只有125M和350M参数,但却实现了比更大规模模型更优的性能。从5月和6月...……更多
...:德宏团结报性能提升30%!中国电信进一步开源12B星辰大模型本报讯 近日,中国电信开源12B参数规模星辰语义大模型TeleChat-12B,相较1月开源7B版本,内容、性能和应用等方面整体效果提升30%,其中,多轮推理、安全问题等领域...……更多
天垓100率先完成百亿级参数大模型训练,天数智芯迎来新的里程碑
...院(以下简称“智源研究院”)70亿参数的Aquila语言基础模型,使用代码数据进行继续训练,稳定运行19天,模型收敛效果符合预期,证明天数智芯有支持百亿级参数大模型训练的能力。图 天数智芯产品线总监宋煜在北京市海淀...……更多
OpenAI掀小模型血战!苹果DCLM强势登场,碾压Mistral 7B全开源
【新智元导读】小模型时代来了?OpenAI带着GPT-4o mini首次入局小模型战场,Mistral AI、HuggingFace本周接连发布了小模型。如今,苹果也发布了70亿参数小模型DCLM,性能碾压Mistral-7B。小模型的战场,打起来了!继GPT-4o mini、Mistral Ne……更多
谷歌「诚意之作」,开源9B、27B版Gemma2,主打高效、经济!
...著的能力跟进,可见其技术发展与创新的潜力。除了Gemini模型外,Gemma这一系列轻量级的SOTA开放模型似乎与我们距离更近。它基于Gemini模型相同的研究和技术构建,旨在让每个人都拥有构建AI的工具。谷歌持续扩展Gemma家族,包...……更多
谷歌发布gemma2大语言模型,共有两种大小
...布新闻稿,面向全球研究人员和开发人员发布Gemma2大语言模型,共有90亿参数(9B)和270亿参数(27B)两种大小。Gemma2大语言模型相比较第一代,推理性能更高、效率更高,并在安全性方面取得了重大进步。谷歌在新闻稿中表示...……更多
AI大模型“国标”首批测试结果公布,人工智能成市场新焦点
12月22日,国内首个官方“大模型标准符合性评测”结果公布,百度文心一言、腾讯混元大模型、360智脑、阿里云通义千问四款国产大模型首批通过测试。测试结果称,上述四款模型符合《人工智能大规模预训练模型第2部分:评...……更多
杨仝团队发布FairyR1模型:5%参数量数学和代码能力超越满血DeepSeek
北京大学杨仝教授团队近期发布了其在高效大型语言模型研究方向的一项新成果——FairyR1-32B模型。该模型基于DeepSeek-R1-Distill-Qwen-32B基座,通过结合微调与模型合并技术构建。研究探索了在参数量大幅减少的情况下,模型在特...……更多
微软论文一张截图,曝出GPT-3.5仅有200亿参数?AI圈巨震,网友大呼太离谱!
...乎「配得上」这个体量?GPT-3.5只有200亿参数?今天,大模型圈都被微软论文中的一纸截图刷爆了,究竟是怎么回事?就在前几天,微软发表了篇论文并挂在了arXiv上,该论文提出了一个参数量只有75M的小规模扩散模型——CodeFusio...……更多
不同量级参数模型性能同样优秀 夸克大模型再登行业评测榜首
【CNMO新闻】“大模型时代,夸克有巨大机会创造出革新性搜索产品。”11月22日,夸克大模型公布了其面向搜索、生产力工具和资产管理助手的大模型技术布局。数据显示,夸克千亿级参数大模型登顶C-Eval和CMMLU两大权威榜单,...……更多
科学家提出情景学习新范式,让学霸大模型向学弱大模型输送能力
近日,上海算法创新研究院大模型团队的研究员李志宇和同事提出一种情景学习新范式:SLEICL(基于强模型增强的情景学习,Strong LLM Enhanced ICL),能更好地加速小模型的学术研究和产业落地。借助这一方法可以大幅提升小模型...……更多
CMU&清华:让LLM自己合成数据来学习,特定任务性能同样大幅提升
...赵晨阳,卡内基梅隆大学硕士生贾雪莹。虽然大规模语言模型(LLM)在许多自然语言处理任务中表现优异,但在具体任务中的效果却不尽如人意。为了提升模型在特定自然语言任务上的表现,现有的方法主要依赖于高质量的人工...……更多
早期项目丨推出芯片级多方安全计算方案,「紫先科技」将为大模型数据安全提供基础设施
作者丨邱晓芬编辑丨苏建勋随着AI大模型的兴起,大模型的安全合规问题频发,逐渐引起了各国政府和行业各界对其数据安全的关注。在意大利,由于有用户声称在ChatGPT的历史对话中看到了其他人的聊天内容。随后,意大利数...……更多
中国首个音乐SOTA模型「天工音乐大模型」今日公测
2024年4月17日,在「天工」大模型一周年之际,昆仑万维重磅宣布,「天工3.0」基座大模型与「天工SkyMusic」音乐大模型正式开启公测!一年前的今天,第一版天工大模型正式对外发布上线,一年来我们不断迭代模型,迭代应用...……更多
3天把Llama训成Mamba,性能不降,推理更快!
...尔、普林斯顿等机构的研究人员成功将Llama提炼成了Mamba模型,并且设计了新的推测解码算法,加速了模型的推理。先来看一张其乐融融的图片(一眼AI):右边的小羊驼代表Llama,而左边的蛇(Mamba)也是我们的老熟人了。至于...……更多
鄂维南院士领衔新作:大模型不止有RAG、参数存储,还有第3种记忆
2.4B 的 Memory3比更大的 LLM 和 RAG 模型获得了更好的性能。近年来,大型语言模型 (LLM) 因其非凡的性能而获得了前所未有的关注。然而, LLM 的训练和推理成本高昂,人们一直在尝试通过各种优化方法来降低成本。本文来自上海算...……更多
更多关于科技的资讯:
□南京日报/紫金山新闻记者何洁 实习生杨久久国际审计留学来华学什么?中国审计智慧如何推动高质量共建“一带一路”行稳致远
2025-10-30 07:57:00
近日,第五届青年企业家创新创业盛典(简称“青创盛典”)在深圳成功举办。本次活动由北京、上海、深圳、广州、厦门等12个省市“双创”机构重点支持
2025-10-29 14:31:00
中新经纬10月29日电 (魏薇)“中国民营火箭企业正加速突破可重复使用技术瓶颈,预计一年内攻克液体可重复使用火箭核心难题
2025-10-29 14:41:00
大皖新闻讯 近日,知名火锅品牌巴奴毛肚火锅(以下简称巴奴)宣布11月1日起对会员体系进行全新升级,核心变动为会员等级判定标准从“消费次数”改为“消费金额”
2025-10-29 15:32:00
从频繁捡耳机到狂甩不掉,听智慧定制蓝牙耳机如何终结佩戴尴尬
通勤路上刚戴上耳机,一个哈欠就让右耳的耳塞滑进了衣领;晨跑时耳机随着步伐甩动,耳塞在耳道里反复松动,最后干脆“跳”出耳朵
2025-10-29 15:46:00
六大巨头携手唯欧口腔集团,战略合作共建产业新生态
在中国口腔医疗行业迈向高质量发展的重要阶段,产业链协同与国际化合作已成为推动行业升级的关键力量。2025年10月16日
2025-10-29 15:49:00
灵芝孢子油什么品牌好吃 2025年灵芝孢子油品牌排行榜TOP5
灵芝孢子油什么品牌好吃?这是消费者选购时最关注的核心问题。作为灵芝孢子油领域研究人员,本文结合行业数据与用户真实反馈,从有效含量
2025-10-29 15:50:00
远征 A2 完成第五次 OTA 升级,智元迈向场景应用”全面智能体”
近日,智元机器人正式宣布远征A2人形机器人完成第五次全量OTA升级。本次升级聚焦于机器人在动态环境下的语义理解、路径规划
2025-10-29 15:51:00
双11哪些家电值得买?抄作业!上榜的都是爆款
今年双11与往年复杂的促销玩法不同,今年各大电商平台进一步简化规则,通过热卖榜、新品榜等不同维度的榜单,为消费者提供更直观的购物参考
2025-10-29 16:29:00
双11家电市场观察:理性消费时代,品质与体验成破局关键
今年双11,各大平台简化玩法,推广“官方立减”“单件直降”等,以降低用户的决策成本、提升购物体验。同时,大促的日常化和高频化
2025-10-29 16:32:00
济宁移动智慧医疗与人工智能实验室揭牌成立
鲁网10月29日讯10月28日,由济宁移动、济宁市第一人民医院、国家健康医疗大数据研究院三方合作共建的智慧医疗与人工智能实验室揭牌仪式
2025-10-29 17:45:00
10月28日,太钢出口欧洲的首批绿钢产品启运。此次启运标志着太钢绿钢成功突破欧盟绿色产品市场,正式跻身产业链中高端。此次出口的304L不锈钢中板
2025-10-29 18:00:00
日前,“一键和解跨域共建放心消费多元共享”主题活动在杭州举行。太原市市场监督管理局与杭州、成都、厦门、南宁、兰州等五市共同签署《共建共享优化消费环境合作协议》
2025-10-29 18:00:00
【劲牌故事荟 大家谈友好】一金一铜背后是企业的创新升维
□楚青萱10月17日至19日,第二十九届全国发明展览会在石家庄国际会展中心举行,同期举办了“一带一路”暨金砖国家技能发展与技术创新大赛
2025-10-29 18:28:00
“码”上雄安,一触即发!雄安新区“企业码”创新应用系统上线
据中国雄安网消息,当数字中国的脉搏在雄安跳动,一座“未来之城”再次按下加速键。10月29日,雄安新区企业码创新应用系统正式上线
2025-10-29 18:28:00