• 我的订阅
  • 头条热搜
Scaling Law百度最早提出!OpenAI/Claude受它启发,致谢中有Ilya
...统团队。他们探讨了深度学习中训练集大小、计算规模和模型精度之间的关系,并且通过大规模实证研究揭示了深度学习泛化误差和模型大小的缩放规律,还在图像和音频上进行了测试。只不过他们使用的是 LSTM,而不是Transforme...……更多
遗憾不?百度早研究过Scaling Law,Anthropic CEO灵感都来自百度
...Scaling Law 的相关研究,并且通过实证研究验证了深度学习模型的泛化误差和模型大小随着训练集规模的增长而呈现出可预测的幂律 scaling 关系。只是,他们当时用的是 LSTM,而非 Transformer,也没有将相关发现命名为「Scaling Law」...……更多
Nature封面:AI训AI 越训越傻
...等学校机构的研究人员最新发现,使用合成数据训练,大模型可能会崩溃。其研究成果被选为最新的Nature封面。直接一个:GARBAGE OUT!要知道,现在绝大部分科技公司的大模型都在用合成数据来缓解“数据荒”。这下无疑是整个...……更多
类Sora模型能否理解物理规律?字节豆包大模型团队系统性研究揭秘
视频生成模型虽然可以生成一些看似符合常识的视频,但被证实目前还无法理解物理规律!自从 Sora 横空出世,业界便掀起了一场「视频生成模型到底懂不懂物理规律」的争论。图灵奖得主 Yann LeCun 明确表示,基于文本提示生...……更多
科研人员取得量子机器学习研究新进展
...新进展,首次证明了量子数据的纠缠程度对量子机器学习模型预测误差的影响表现出双重效应。相关研究成果近日在线发表在国际学术期刊《自然·通讯》上。论文通讯作者罗勇介绍,量子纠缠是实现量子计算优势的关键资源。...……更多
AI探索宇宙结构新突破!超精准场级模拟,半秒完成冷暗物质仿真
...进行编码的样式参数。研究人员在六维N-body相空间上训练模型,将粒子速度预测为模型位移输出的时间导数,显著提高了训练效率和模型准确性。最终,模拟器在测试数据(训练期间未见过的各种宇宙学和红移)上实现了良好的...……更多
对比学习滥用隐私数据!中科院等发布「多步误差最小化」方法 | ACM MM2024
...模态不可学习样本,以保护个人数据不被多模态对比学习模型滥用。通过优化图像噪声和文本触发器,MEM方法有效地误导模型,降低其对隐私数据的学习能力,并在不同模型间展现出强大的可迁移性。多模态对比学习(如CLIP)...……更多
万字技术干货!LLM工程师必读量化指南,可视化图解揭秘大模型如何压缩
...量化」的基本概念和分支方法进行了全方位总结。大语言模型(LLM)通常过于庞大,无法在消费级硬件上运行。这些模型的参数可能超过数十亿,通常需要显存较大的GPU来加速推理过程。因此,越来越多的研究开始关注如何缩小...……更多
信号表征指数级强、内存节省35%,量子隐式表征网络
...结果也证实了 QIREN 的确表现出超越信号表示任务上 SOTA 模型的优异性能,在参数量更少的情况下,拟合误差最多减少 35%。图 1 中展示了本文的核心思想和主要结论。相关论文已经被机器学习领域最权威的会议之一 ICML 2024 接收...……更多
清华提出时间序列大模型:面向通用时序分析的生成式Transformer
【新智元导读】大模型在语言、图像领域取得了巨大成功,时间序列作为多个行业的重要数据类型,时序领域的大模型构建尚处于起步阶段。近期,清华大学的研究团队基于Transformer在大规模时间序列上进行生成式预训练,获得...……更多
OpenAI发布最新技术研究,AI“黑盒”不再是难题!
...随着ChatGPT在法律、金融、营销等领域的广泛使用,确保模型的安全、准确输出同时被很好理解变得非常重要。但由于神经网络的复杂和多变性,我们根本无法验证其生成内容的准确性,这也就会出现输出“黑盒”的情况。为了...……更多
让机器人拥有人一样潜意识,英伟达1.5M小模型就能实现通用控制了
当机器人也有潜意识。大模型固然性能强大,但限制也颇多。如果想在端侧塞进 405B 这种级别的大模型,那真是小庙供不起大菩萨。近段时间,小模型正在逐渐赢得人们更多关注。这一趋势不仅出现在语言模型领域,也出现在...……更多
GPT-4o不会数r,被外国小哥原地逼疯! 谷歌论文揭秘Transformer「数不到n」
...Riley Goodside小哥,依然在用「Strawberry里有几个r」折磨大模型们,GPT-4o在无限次PUA后,已经被原地逼疯!相比之下,Claude坚决拒绝PUA,是个大聪明。而谷歌最近的论文也揭示了本质原因:LLM没有足够空间,来存储计数向量。Strawber...……更多
1行代码改进大模型训练,Llama训练速度升至1.47倍,华人团队出品
只要改一行代码,就能让大模型训练效率提升至1.47倍。拥有得州大学奥斯汀分校背景四名华人学者,提出了大模型训练优化器Cautious Optimizers。在提速的同时,Cautious能够保证训练效果不出现损失,而且语言和视觉模型都适用。...……更多
中国科学院大连化物所等开发出用于电池寿命预测的深度学习模型
...24.3434553)。 据介绍,研究团队开发出了新型的深度学习模型,克服了传统方法对大量充电测试数据的依赖,为电池实时寿命预估提供了新思路,实现了锂电池寿命的端到端评估。该模型作为团队开发的第一代电池数字大脑 PBSRD...……更多
王为磊:摸清海洋固碳“家底”
...者采访时说。不久前,王为磊联合国内外研究人员利用逆模型,首次描绘出海洋生物碳泵分布格局图,为海洋碳汇估算提供了新方法和新视角。这一成果在《自然》杂志发表后引发关注。国际学术成果影响力评价数据显示,论文...……更多
LLM训练通信量减少10000倍!全新分布式优化器,整合世间算力训练强大AI
...了1000到10000倍!如果可以使用世界上所有的算力来训练AI模型,会怎么样?近日,凭借发布了开源的Hermes 3(基于Llama 3.1)而引起广泛关注的Nous Research,再次宣布了一项重大突破——DisTrO(分布式互联网训练)。通过使用与架构...……更多
不是RNN的锅!清华团队深入分析长上下文建模中的状态崩溃,Mamba作者点赞
【新智元导读】RNN模型在长上下文中表现不佳?近日,来自清华的研究团队对此进行了深入的实验分析,结果表明:不是RNN的锅。与Transformer相比,RNN模型的一大优势是应对长序列的能力。比如Mamba,内部状态大小始终保持不变...……更多
OpenAI重拾规则系统,用「AI版机器人定律」守护大模型安全
在大算力和大数据让基于统计的 AI 模型真正变得强大且有用之前,基于规则的系统长期以来是语言模型的主导范式。顾名思义,基于规则的系统就是依赖人类编码的规则来执行决策。这种方式构建的 AI 虽然简单,但在某些特定...……更多
全球首次!时序大模型突破十亿参数,华人团队发布Time-MoE,预训练数据达3000亿个时间点
...而,构建一个兼具强大性能与高效运算的大规模时序预测模型始终是一个巨大的挑战。此外,高质量的大型公共时间序列数据库的匮乏进一步加剧了这一难题。近日,由来自普林斯顿大学、格里菲斯大学等全球多地的华人国际科...……更多
非Transformer架构站起来了!首个纯无注意力大模型,超越Llama 3.1
Mamba 架构的大模型又一次向 Transformer 发起了挑战。Mamba 架构模型这次终于要「站」起来了?自 2023 年 12 月首次推出以来,Mamba 便成为了 Transformer 的强有力竞争对手。此后,采用 Mamba 架构的模型不断出现,比如 Mistral 发布的首...……更多
大模型是否有推理能力?DeepMind数月前的论文让AI社区吵起来了
最近一段时间,随着 OpenAI o1 模型的推出,关于大型语言模型是否拥有推理能力的讨论又多了起来。比如苹果在前段时间的一篇论文中指出,只要给模型一些干扰,最聪明的模型也会犯最简单的错误(参见《给小学数学题加句「...……更多
苹果开源7B模型,训练过程数据集一口气全给了,网友:很不像苹果
苹果最新杀入开源大模型战场,而且比其他公司更开放。推出7B模型,不仅效果与Llama 3 8B相当,而且一次性开源了全部训练过程和资源。要知道,不久前Nature杂志编辑Elizabeth Gibney还撰文批评:许多声称开源的AI模型,实际上在...……更多
马斯克承诺开源版大模型 来了!Grok-1:3140亿参数迄今最大,权重架构全开放
...之心开源社区有福了。说到做到,马斯克承诺的开源版大模型 Grok 终于来了!今天凌晨,马斯克旗下大模型公司 xAI 宣布正式开源 3140 亿参数的混合专家(MoE)模型‘Grok-1’,以及该模型的权重和网络架构。这也使得Grok-1成为当...……更多
87.8%准确率赶超GPT-4o登顶!谷歌DeepMind发布自动评估模型FLAMe
【新智元导读】谷歌DeepMind推出LLM自动评估模型FLAMe系列,FLAMe-RM-24B模型在RewardBench上表现卓越,以87.8%准确率领先GPT-4o。大语言模型都卷起来了,模型越做越大,token越来越多,输出越来越长。那么问题来了,如何有效地评估大...……更多
1890美元,就能从头训练一个还不错的12亿参数扩散模型
...只用1890美元、3700 万张图像,就能训练一个还不错的扩散模型。现阶段,视觉生成模型擅长创建逼真的视觉内容,然而从头开始训练这些模型的成本和工作量仍然很高。比如 Stable Diffusion 2.1 花费了 200000 个 A100 GPU 小时。即使研...……更多
DeepMind最新成果剑指量子力学,FermiNet或将破解近百年计算难题
....livescience.com/24509-light-wave-particle-duality-experiment.html在经典模型中,原子核位于中间,固定数量的电子绕着固定的轨道运行,如同太阳系一般严谨有序。但在量子系统中,电子等粒子完全没有这种精确的轨道,它们的位置是由「概...……更多
从炒菜到缝针!斯坦福炒虾团队打造自主「AI达芬奇」,苦练神指当外科医生
...这项工作中,达芬奇的运动学数据可能并不可靠。他们的模型基于ACT,一种基于Transformer的架构。团队提出了一种策略设计,仅将图形作为输入,并输出相对姿态轨迹如果这种方法成功,那么包含近似运动学的大型临床数据存储...……更多
一文看尽Meta开源大礼包!全面覆盖图像分割、语音、文本、表征、材料发现、密码安全性等
...【新智元导读】Meta最近开源了多个AI项目,包括图像分割模型SAM 2.1、多模态语言模型Spirit LM、自学评估器和改进的跨语言句子编码器Mexma等,提升了AI在图像处理和语音识别领域的能力,进一步推动了AI研究的进展。开源绝对是AI...……更多
大模型不会推理,为什么也能有思路?有人把原理搞明白了
大模型不会照搬训练数据中的数学推理,回答事实问题和推理问题的「思路」也不一样。大语言模型的「推理」能力应该不是推理,在今年 6 月,一篇 Nature 论文《Language is primarily a tool for communication rather than thought》曾引发……更多
更多关于科技的资讯:
2025世界制造业大会|超聚变全栈数智化方案,为安徽建设“制造强省”贡献力量
大皖新闻讯 9月20日至23日,以“智造世界 创造美好”为主题的2025世界制造业大会主在合肥举行。记者在采访中注意到
2025-09-23 13:16:00
新品首销,烟台联通胜利路营业厅人气火爆
9月19日上午8时,iPhone 17系列新品在烟台联通胜利路营业厅正式首销,现场人气火爆,众多消费者一早前来,共同体验新一代旗舰产品的魅力
2025-09-23 13:36:00
PITAKA自研PitaTap™拍照按键,重新定义手机壳交互体验
近日,在2025年德国柏林IFA展会上,PITAKA凭借其自研的PitaTap™拍照按键的创新突破,一举夺得两家国际权威科技媒体SlashGear与BGR颁发的Innovation Awards奖项
2025-09-23 11:40:00
MOVA生态链企业获数千万融资,瞄准海外电动工具赛道、预计2025年营收破亿|硬氪首发
作者|黄楠编辑|袁斯来硬氪获悉,沃庭科技(苏州)有限公司(以下简称“沃庭科技”)近日完成数千万元天使轮融资,本轮资金将用于加大技术研发投入
2025-09-23 06:51:00
刘强东,正悄悄孕育“山姆杀手”
前不久,刘强东现身宿迁,又给老家人送上了一份大礼:四家京东折扣超市。有人问,这不是赚老乡钱吗,算什么礼物?因为这些超市主打的
2025-09-22 10:23:00
近日,合众人寿秦皇岛中支开展“鎏金岁月,匠心相伴”主题金箔手作沙龙活动,通过沉浸式手工体验,为参加客户呈现了一场融合艺术鉴赏与情感联结的特别回馈
2025-09-22 10:32:00
东港股份转型科技先锋 AI具身机器人深耕为民服务
海报新闻记者 宋嵩 张彤彤“您好,我是小智,有什么可以帮助您?”在政务大厅、大型展馆、学校可以看到忙碌的“小家伙”,它们各司其职
2025-09-22 10:33:00
“人拉肩扛”到“云端挖矿” 山东黄金的数智蜕变
海报新闻记者 张彤彤三山岛金矿的井下巷道里,5G信号正穿梭于岩壁之间,中控室的大屏上,矿石流动的情况与千米深的矿洞数据实时变化
2025-09-22 10:33:00
从莱阳田野到国际餐桌 春雪食品引领鸡肉调理品行业高质量发展
海报新闻记者 宋嵩故事的起点,要追溯到2012年。彼时,山东春雪食品有限公司在莱阳设立莱阳春雪食品有限公司,最初只是一家区域性的鸡肉加工企业
2025-09-22 10:37:00
大窑饮品重磅推出“宜养说” 植物蛋白赛道再添“实力派”
当下消费者正变得前所未有的理性,这一趋势在饮品市场尤为明显:“好喝”是基础,“健康”已成为新门槛。基于对“轻养生”需求的深度洞察
2025-09-22 10:38:00
近日,西贝创始人贾国龙与网红企业家罗永浩就预制菜价值展开的公开论战,将这一话题推向了舆论漩涡。这场争论背后,折射的正是全社会对食品安全认知的深化——从单纯的“无害”向更高层次的“真实
2025-09-22 10:38:00
从鼓房到健身房:无人值守场景重塑消费体验
本报记者 胡 静 □ 陈跃佳中午十二时,李先生步入街角的24小时无人便利店,扫码开门、自选商品、刷脸支付,全程耗时不足两分钟
2025-09-22 10:39:00
鱼竿里的“大国重器” 光威复材以碳纤维技术书写国产突围之路
海报新闻记者 宋嵩 张彤彤“以前用玻璃纤维竿,钓条十斤的鱼就胳膊酸,这碳纤维的又结实又轻,真是材料不一样了!” 威海的老钓手王师傅喜欢“炫耀”他的新鱼竿
2025-09-22 10:40:00
南山智尚:纤维经纬织就智造之路
大众网·海报新闻记者 康洁一条条线可以让提线木偶惟妙惟肖的表演,而一根根强度高、耐磨损的纤维可以实现机器人手部灵巧的运动
2025-09-22 10:41:00
刚拿到新iPhone就提示设备空间不足?微信员工回应:有bug
日前,iPhone 17系列开售,很多拿到新机的用户第一时间就是转移数据。但最近有微信用户发现,在向新iPhone导入聊天记录时
2025-09-22 10:51:00