• 我的订阅
  • 头条热搜
谢赛宁新作:表征学习有多重要?一个操作刷新SOTA,DiT训练速度暴涨18倍
【新智元导读】在NLP领域,研究者们已经充分认识并认可了表征学习的重要性,那么视觉领域的生成模型呢?最近,谢赛宁团队发表的一篇研究就拿出了非常有力的证据:Representation matters!扩散模型如何突破瓶颈? 成本高又难...……更多
图灵奖得主Yoshua Bengio新作:Were RNNs All We Needed?
...更多详情,可以参见机器之心之前的报道:《Bengio 等人新作:注意力可被视为 RNN,新模型媲美 Transformer,但超级省内存》简化 LSTM 和 GRU在这一部分,研究者通过简化和移除各种门中的若干隐藏状态依赖关系,证明 GRU 和 LSTM 可...……更多
鄂维南院士领衔新作:大模型不止有RAG、参数存储,还有第3种记忆
2.4B 的 Memory3比更大的 LLM 和 RAG 模型获得了更好的性能。近年来,大型语言模型 (LLM) 因其非凡的性能而获得了前所未有的关注。然而, LLM 的训练和推理成本高昂,人们一直在尝试通过各种优化方法来降低成本。本文来自上海算...……更多
RNN回归!Bengio新作大道至简与Transformer一较高下
【新智元导读】近日,深度学习三巨头之一的Yoshua Bengio,带领团队推出了全新的RNN架构,以大道至简的思想与Transformer一较高下。在Transformer统治的AI时代之下,散落在世界各地的「RNN神教」信徒,一直相信并期待着RNN回归的那...……更多
Mamba作者新作:将Llama3蒸馏成混合线性 RNN
Transformer 在深度学习领域取得巨大成功的关键是注意力机制。注意力机制让基于 Transformer 的模型关注与输入序列相关的部分,实现了更好的上下文理解。然而,注意力机制的缺点是计算开销大,会随输入规模而二次增长,Transfo...……更多
NeurIPS 2024 | FaceChain团队新作,开源拓扑对齐人脸表征模型
...器学习顶级国际会议 NeurIPS 2024 接收了一篇人脸表征学习新作, \"TopoFR: A Closer Look at Topology Alignment on Face Recognition\",让我们一睹为快。 论文链接:https://arxiv……更多
AI首次实时生成视频!尤洋团队新作,网友:这是新纪元
一水 发自 凹非寺量子位 | 公众号 QbitAI尤洋团队新作,首个基于DiT的实时视频生成方法来了!先来直观感受一下效果(右侧为新方法):这是团队在Open-Sora上,使用5个4s(192帧)480p分辨率视频进行的测试。新方法名为Pyramid Atten...……更多
...人工智能文字生成视频大模型Sora核心组件DiT相比,训练速度提升10倍以上,再次刷新SoTA最佳图像生成质量和学习速度。近日,相关成果公布于预印本服务器arXiv。2024年初,美国OpenAI公司发布Sora模型,其通过计算机视觉技术模拟...……更多
谷歌在AI赛道加速
...练 AI 模型的新研究,Google 声称,该研究将大大提高训练速度和能效,比其他方法的性能高出 13 倍,能效高出 10 倍。随着有关 AI 数据中心对环境影响的讨论日益升温,新的 JEST 训练方法的出现可谓恰逢其时。DeepMind 的方法被称...……更多
AI大模型有望再扩1000倍!剑桥耶鲁康奈尔:PNN是变革关键
...盾在于内存和处理单元的分离,而且两者之间的数据传输速度较低。由于看到了这些性能限制,研究人员对可替代当前AI系统的其他计算平台重新产生了兴趣,例如光学、光子学和模拟电子学。论文将这些非常规计算平台统称为P...……更多
Yandex推出开源大语言模型训练工具,称可节省高达20%的图形处理器资源
...用的最有效工具,与FSDP相比,根据架构和参数数量,其速度最多可提高26%。通过使用YaFSDP缩短大型语言模型的训练时间,可以节省高达20%的图形处理器资源。Yandex公司高级开发人员、YaFSDP开发团队成员米哈伊尔·赫鲁晓夫(Mikhai...……更多
类Sora模型能否理解物理规律?字节豆包大模型团队系统性研究揭秘
...运动由其初始帧决定:匀速直线运动:一个球水平移动,速度保持恒定,用于说明惯性定律。 完美弹性碰撞:两个具有不同大小和速度的球水平相向运动并发生碰撞,体现了能量与动量守恒定律。 抛物线运动:一个带有初始...……更多
清华团队提出新型光计算架构,光训练速度提升1个数量级
...电计算,在完成相同计算的前提下,光计算能够以更快的速度和更低的能耗,来实现相关神经网络。这意味着,光计算以其算力高和能耗低的优势作为智能计算的“潜力股”,为后摩尔时代带来新的希望。 推理和训练是 AI 大模...……更多
有望改写AI未来!NVIDIA全新nGPT使训练速度暴增20倍
...进行表示学习,能够显著提升大型语言模型(LLM)的训练速度,最高可达20倍,同时保持了模型的精度。nGPT架构的核心在于将所有向量,包括嵌入、多层感知机(MLP)、注意力矩阵和隐藏状态,归一化为单位范数。这种归一化处...……更多
人工智能开启气象预测新纪元
...相比,基于AI的模拟器能给出类似的天气预测结果,而且速度更快。【科技创新世界潮】◎本报记者 刘 霞10多年前,当美国加州理工学院气候科学家塔佩奥·施奈德首次对云如何形成进行建模时,需要煞费苦心地调整描述水滴、...……更多
扩散模型版CS: GO!世界模型+强化学习:2小时训练登顶Atari 100K
...型在RTX 4090上训练了12天,并且可以在RTX 3090上以约10 FPS的速度运行。不过该方法在模拟世界模型时,在部分场景下仍然会失效。强化学习和世界模型我们可以把环境看作是一个复杂的系统,智能体在这个系统中通过执行动作来探...……更多
综合RLHF、DPO、KTO优势,统一对齐框架UNA来了
...统的 RLHF、DPO 和 KTO 都有显著的性能提升,特别是在训练速度、内存占用和任务表现等方面。以下是实验结果的主要亮点:任务表现:在多个语言理解任务和生成任务中,UNA 的表现优于 RLHF 和 DPO。例如,在 Huggingface 的 Open LLM Lea...……更多
文心大模型4.0 Turbo来了!百度推出文心快码2.5,已覆盖内部80%程序员
...助手Baidu Comate升级至2.5版本,开发、业务迭代及企业落地速度大幅提升,并拥有了全新的中文名“文心快码”,正式加入百度“文心大家族”。据百度首席技术官、深度学习技术及应用国家工程研究中心主任王海峰介绍,文心一...……更多
免训练大模型知识编辑,吸收新数据更高效|EMNLP\\\'24
...迭代反向传播的技术相比,编辑时间显著减少。对于推理速度,修改模型参数的方法保持一致的速度,因为它们不会改变原始的推理pipeline。T-Patcher由于神经元的积累而减慢了推理速度。在基于检索的方法中,GRACE由于其独特的...……更多
字节豆包大模型团队突破残差连接局限!预训练收敛最快加速80%
...训练中,超连接方案展示出显著的性能提升效果,使收敛速度最高可加速 80%。自从 ResNet 提出后,残差连接已成为深度学习模型的基础组成部分。其主要作用是 —— 缓解梯度消失问题,使得网络的训练更加稳定。但是,现有残...……更多
扩散模型训练方法一直错了!谢赛宁:Representation matters
...模型训练的效率和效果。相比于原生模型,REPA 能将收敛速度提升 17.5 倍以上。在生成质量方面,在使用带引导间隔(guidance interval)的无分类器引导时,新方法取得了 FID=1.42 的当前最佳结果。 REPA:用于表征对齐的正则化REPrese...……更多
小模型正在成为AI界的新宠
...fa Suleyman)预测, 仅在未来三年内,大模型规模以惊人的速度继续扩张,将增长 1000 倍。一方面,模型的参数量与其能够处理和学习的复杂性直接相关。模型容量越大,往往意味着性能越好。随着模型容量增加到数万亿个参数,...……更多
大模型新趋势之MoE:现状、挑战及研究方向
...或使用部分专家模型,减少不必要的计算,提升模型计算速度并降低算力需求。研究表明,与稠密模型相比,MoE+指令调优仅使用1/3算力就能提升大模型性能约45%,缩短训练时间2,且参数规模越大,效果越好。MoE不是一种全新的...……更多
Meta版慢思考来了!田渊栋团队整合快慢思考,能走迷宫推箱子
Meta版慢思考也来了。田渊栋团队带来新作Dualformer,把快慢思考无缝结合,性能提升还成本更低。能解决迷宫、推箱子等复杂问题。通过让模型在推理轨迹和最终答案上进行训练,再基于特定策略丢掉部分轨迹,Dualformer模型可...……更多
谷歌DeepMind展示大模型Genie,能从零制作类似超级马里奥的游戏
...2D 平台游戏。但游戏的帧数惨不忍睹,只能以每秒一帧的速度运行,而大多数现代游戏通常是每秒 30 到 60 帧。“这是一项很酷的成果。”加拿大阿尔伯塔大学的人工智能研究员马修·古兹戴尔(Matthew Guzdial)说。他曾在几年前...……更多
LLM训练通信量减少10000倍!全新分布式优化器,整合世间算力训练强大AI
...的方法基本不会导致模型性能下降,同时DisTrO-AdamW在收敛速度方面,也与标准的AdamW+All-Reduce相当。 分布式互联网训练一般来说,训练大规模神经网络涉及到大量的通信开销。比如做数据并行的时候,不同的训练数据在不同的硬...……更多
AI探索宇宙结构新突破!超精准场级模拟,半秒完成冷暗物质仿真
...)的一种实现,其损失函数建模了时间相关的粒子坐标和速度之间的特定关系。在这项工作中,研究人员提出了一个用于大规模结构的场级模拟器,捕获宇宙学依赖性和宇宙结构形成的时间演化。 模拟器将线性位移场映射到特...……更多
比ChatGPT省电10倍 Google研训练AI模型新方法
...据时,JEST可提升6%性能,而在以运算为代价来最大化训练速度或效率的情况下,JEST相对于可比较的IID训练运行可加速13倍。研究报告展示JEST数据品质引导的巨大潜力,即使小规模的精选数据集也能指导对更大未经管理的数据集...……更多
黄仁勋:我从不在乎市场份额、英伟达唯一目标是创造新市场
...进,这是技术发展的必然规律。Q:目前AI领域的发展变化速度是否是您见过最快的?A:是的,这是因为我们重新发明了计算。在过去10年里,我们将计算的边际成本降低了10万倍,而按照摩尔定律可能只能降低100倍。我们通过以...……更多
国产大模型竞技场首超GPT-4o!零一万物GLM共同跻身Top10
...Yi-Lightning在不同场景上的能力。Yi-Lightning主打一个“推理速度更快,生成质量更好”。相比上半年Yi-Large,Yi-Lightning首包速度提升1倍,推理速度也提升了4成。像是翻译下面这种文学作品,Yi-Lightning不仅速度更快:而且用词更精...……更多
更多关于科技的资讯:
科氪 | 开局即决战 ROG助力电影《流浪地球3》美术创作
2025年2 月 25 日,ROG正式官宣与电影《流浪地球》系列再度携手,高能助力小破球的新一轮冒险。ROG作为电影《流浪地球3》官方拍摄期创作算力先锋
2025-02-25 22:17:00
注意!手机贴防窥膜易加剧近视:长时间使用引起视疲劳症
快科技2月25日消息,据报道,防窥膜作为保护隐私的“神器”,因其独特的“百叶窗”光学设计,可限制屏幕侧面可视角度,但用户普遍反映使用后易出现视疲劳
2025-02-25 16:34:00
周鸿祎AI短剧上线:黄奕伪装刺杀其画面曝光 两人有不少动作戏
快科技2月25日消息,今日,由360集团董事长周鸿祎出演的首部AI短剧,在万众期待下终于上线了。因为知名影视演员黄奕的加入
2025-02-25 16:34:00
曾喊话中国传统教育必须要改革!俞敏洪:不应把上名牌大学作为孩子的人生目标
快科技2月25日消息,新东方创始人、新东方教育科技集团董事长俞敏洪现身郑州谈家庭教育。俞敏洪称“不应把上名牌大学作为孩子的人生目标”
2025-02-25 16:34:00
双拼色方案 小米YU7内饰实拍曝光:更偏向家用了
快科技2月25日消息,小米YU7内饰谍照再次得到曝光,此次展示了该车的更多细节。整体来看,YU7将采取双拼色方案,中控扶手区域得到重新优化
2025-02-25 16:34:00
比迈巴赫整车还贵!布加迪推出史上最壕改装套件:售价174万元
快科技2月25日消息,布加迪近日为其新款Tourbillon超跑推出名为“Equipe Pur Sang”的专属选装套件
2025-02-25 16:34:00
大众网记者 刘迪 通讯员 姚登位 济宁报道近年来,兴业银行济南分行积极响应国家创新驱动发展战略,充分发挥金融力量,深度聚焦技术流企业
2025-02-25 17:03:00
能抗-40℃极寒:西安交大成功研发钠离子低温软包电池
快科技2月5日消息,据“西安发布”官方报道,近日,西安交通大学化学工程与技术学院唐伟教授团队在钠离子电池领域取得了重要进展
2025-02-25 17:04:00
骑手谈京东承担骑手五险一金全部成本:找到父母眼中的好工作了
快科技2月25日消息,日前,京东宣布,鉴于目前外卖骑手的平均薪酬远低于京东快递小哥,为薪酬公平性,未来一段时期签约的外卖全职骑手缴纳五险一金的所有成本
2025-02-25 17:04:00
同档最强性能神机!真我Neo7 SE正式发布:1530元起
快科技2月25日消息,今天下午,真我Neo7 SE正式发布。售价方面,8GB+256GB售价1799元,12GB+256GB售价1899元
2025-02-25 17:04:00
我国自研!全球最大功率甲醇双燃料船用发动机发布:工业酒精变航海燃料
快科技2月25日消息,据媒体报道,中船集团今日宣布,其自主研制的全球最大功率甲醇双燃料船用发动机WinGD X92DF-M-1
2025-02-25 17:04:00
拯救苹果的经典之作!iMac设计仅用了三周时间
快科技2月25日消息,苹果前首席设计师乔纳森·艾维(Jony Ive)近期在接受访谈时,回顾了他与史蒂夫·乔布斯的合作历程
2025-02-25 17:04:00
快科技2月25日消息,据媒体报道,近日,巴西发生一起两车相撞的交通事故,一名女子在事故中被夹在两车中间却奇迹般未受伤。该事件引发广泛关注
2025-02-25 17:04:00
浏览更便利!知乎取消不登录无法看全文限制
快科技2月25日消息,据报道,近日,知乎PC网页端取消了非登录用户查看全文的限制,用户无需登录即可直接浏览完整内容。据悉
2025-02-25 17:04:00
特斯拉高管:Model S和Model X不会停产 年底还有升级
快科技2月25日消息,特斯拉车辆工程副总裁拉尔斯·莫拉维(Lars Moravy)在节目中透露,特斯拉计划在今年年底对Model S和Model X两款车型进行更新
2025-02-25 17:04:00