- 我的订阅
- 头条热搜
我们正处于一个信息大暴发的时代，每天都能产生数以百万计的新闻资讯！
虽然有大数据推荐，但面对海量数据，通过我们的调研发现，在一个小时的时间里，您通常无法真正有效地获取您感兴趣的资讯！
头条新闻资讯订阅，旨在帮助您收集感兴趣的资讯内容，并且在第一时间通知到您。可以有效节约您获取资讯的时间，避免错过一些关键信息。
【新智元导读】在NLP领域，研究者们已经充分认识并认可了表征学习的重要性，那么视觉领域的生成模型呢？最近，谢赛宁团队发表的一篇研究就拿出了非常有力的证据：Representation matters！扩散模型如何突破瓶颈？ 成本高又难...……更多
2024-10-23 09:55:00新作,速度,训练,学习,模型,训练
...更多详情，可以参见机器之心之前的报道：《Bengio 等人新作：注意力可被视为 RNN，新模型媲美 Transformer，但超级省内存》简化 LSTM 和 GRU在这一部分，研究者通过简化和移除各种门中的若干隐藏状态依赖关系，证明 GRU 和 LSTM 可...……更多
2024-10-15 09:56:00图灵奖,图灵,得主,新作,序列,训练
2.4B 的 Memory3比更大的 LLM 和 RAG 模型获得了更好的性能。近年来，大型语言模型 (LLM) 因其非凡的性能而获得了前所未有的关注。然而， LLM 的训练和推理成本高昂，人们一直在尝试通过各种优化方法来降低成本。本文来自上海算...……更多
2024-07-11 09:33:00维南,领衔,院士,新作,模型,存储
【新智元导读】近日，深度学习三巨头之一的Yoshua Bengio，带领团队推出了全新的RNN架构，以大道至简的思想与Transformer一较高下。在Transformer统治的AI时代之下，散落在世界各地的「RNN神教」信徒，一直相信并期待着RNN回归的那...……更多
2024-10-26 09:53:00高下,新作,大道,门控,模型,训练
Transformer 在深度学习领域取得巨大成功的关键是注意力机制。注意力机制让基于 Transformer 的模型关注与输入序列相关的部分，实现了更好的上下文理解。然而，注意力机制的缺点是计算开销大，会随输入规模而二次增长，Transfo...……更多
2024-09-03 09:59:00线性,新作,混合,作者,模型,线性
...器学习顶级国际会议 NeurIPS 2024 接收了一篇人脸表征学习新作， \"TopoFR: A Closer Look at Topology Alignment on Face Recognition\"，让我们一睹为快。
论文链接：https://arxiv……更多
2024-10-18 09:46:00人脸,拓扑,新作,模型,团队,人脸
一水 发自 凹非寺量子位 | 公众号 QbitAI尤洋团队新作，首个基于DiT的实时视频生成方法来了！先来直观感受一下效果（右侧为新方法）：这是团队在Open-Sora上，使用5个4s（192帧）480p分辨率视频进行的测试。新方法名为Pyramid Atten...……更多
2024-06-29 09:30:00新纪元,新作,实时,生成,团队,这是
...人工智能文字生成视频大模型Sora核心组件DiT相比，训练速度提升10倍以上，再次刷新SoTA最佳图像生成质量和学习速度。近日，相关成果公布于预印本服务器arXiv。2024年初，美国OpenAI公司发布Sora模型，其通过计算机视觉技术模拟...……更多
2024-04-03 07:20:00人工智能,提速,人工,模型,训练,智能
...练 AI 模型的新研究，Google 声称，该研究将大大提高训练速度和能效，比其他方法的性能高出 13 倍，能效高出 10 倍。随着有关 AI 数据中心对环境影响的讨论日益升温，新的 JEST 训练方法的出现可谓恰逢其时。DeepMind 的方法被称...……更多
2024-07-11 09:47:00赛道,训练,方法,数据,模型,学习
...盾在于内存和处理单元的分离，而且两者之间的数据传输速度较低。由于看到了这些性能限制，研究人员对可替代当前AI系统的其他计算平台重新产生了兴趣，例如光学、光子学和模拟电子学。论文将这些非常规计算平台统称为P...……更多
2024-07-15 09:33:00康奈尔,康奈,耶鲁,剑桥,变革,模型
...用的最有效工具，与FSDP相比，根据架构和参数数量，其速度最多可提高26%。通过使用YaFSDP缩短大型语言模型的训练时间，可以节省高达20%的图形处理器资源。Yandex公司高级开发人员、YaFSDP开发团队成员米哈伊尔·赫鲁晓夫（Mikhai...……更多
2024-06-18 16:13:00处理器,图形,模型,高达,训练,语言
...运动由其初始帧决定：匀速直线运动：一个球水平移动，速度保持恒定，用于说明惯性定律。
完美弹性碰撞：两个具有不同大小和速度的球水平相向运动并发生碰撞，体现了能量与动量守恒定律。
抛物线运动：一个带有初始...……更多
2024-11-09 09:59:00模型,豆包,系统性,字节,规律,团队
...电计算，在完成相同计算的前提下，光计算能够以更快的速度和更低的能耗，来实现相关神经网络。这意味着，光计算以其算力高和能耗低的优势作为智能计算的“潜力股”，为后摩尔时代带来新的希望。
推理和训练是 AI 大模...……更多
2024-08-09 09:57:00量级,清华,架构,个数,团队,速度
...进行表示学习，能够显著提升大型语言模型（LLM）的训练速度，最高可达20倍，同时保持了模型的精度。nGPT架构的核心在于将所有向量，包括嵌入、多层感知机（MLP）、注意力矩阵和隐藏状态，归一化为单位范数。这种归一化处...……更多
2024-10-20 15:52:00速度,训练,全新,模型,球面,上下文
...相比，基于AI的模拟器能给出类似的天气预测结果，而且速度更快。【科技创新世界潮】◎本报记者 刘 霞10多年前，当美国加州理工学院气候科学家塔佩奥·施奈德首次对云如何形成进行建模时，需要煞费苦心地调整描述水滴、...……更多
2024-04-02 02:08:00人工智能,新纪元,气象,人工,智能,模型
...型在RTX 4090上训练了12天，并且可以在RTX 3090上以约10 FPS的速度运行。不过该方法在模拟世界模型时，在部分场景下仍然会失效。强化学习和世界模型我们可以把环境看作是一个复杂的系统，智能体在这个系统中通过执行动作来探...……更多
2024-11-19 09:49:00模型,训练,小时,学习,世界,模型
...统的 RLHF、DPO 和 KTO 都有显著的性能提升，特别是在训练速度、内存占用和任务表现等方面。以下是实验结果的主要亮点：任务表现：在多个语言理解任务和生成任务中，UNA 的表现优于 RLHF 和 DPO。例如，在 Huggingface 的 Open LLM Lea...……更多
2024-10-10 09:56:00框架,优势,统一,综合,模型,奖励
...助手Baidu Comate升级至2.5版本，开发、业务迭代及企业落地速度大幅提升，并拥有了全新的中文名“文心快码”，正式加入百度“文心大家族”。据百度首席技术官、深度学习技术及应用国家工程研究中心主任王海峰介绍，文心一...……更多
2024-07-01 09:21:00文心,快码,程序员,模型,程序,文心
...迭代反向传播的技术相比，编辑时间显著减少。对于推理速度，修改模型参数的方法保持一致的速度，因为它们不会改变原始的推理pipeline。T-Patcher由于神经元的积累而减慢了推理速度。在基于检索的方法中，GRACE由于其独特的...……更多
2024-10-30 09:57:00模型,训练,知识,数据,模型,知识
...训练中，超连接方案展示出显著的性能提升效果，使收敛速度最高可加速 80%。自从 ResNet 提出后，残差连接已成为深度学习模型的基础组成部分。其主要作用是 —— 缓解梯度消失问题，使得网络的训练更加稳定。但是，现有残...……更多
2024-11-08 09:47:00残差,豆包,收敛,字节,模型,团队
...模型训练的效率和效果。相比于原生模型，REPA 能将收敛速度提升 17.5 倍以上。在生成质量方面，在使用带引导间隔（guidance interval）的无分类器引导时，新方法取得了 FID=1.42 的当前最佳结果。
REPA：用于表征对齐的正则化REPrese...……更多
2024-10-15 09:57:00模型,训练,方法,模型,训练,视觉
...据大小也存在Scaling（缩放）关系，通常模型大小的增长速度比数据大小的增长速度慢。具体来说，结合以往工作，团队将注意力集中在准确估计学习曲线和模型大小的缩放趋势上。按照一般测量方法，是选择最先进的SOTA模型，...……更多
2024-11-28 09:57:00模型,训练,数据,大小,研究,误差
...的训练过程，这里给出了训练过程中损失、困惑度、训练速度等信息训练细节与数据集INTELLECT-1 基于 Llama-3 架构，它包含：42 层，隐藏维度为 4,096
32 个注意力头
序列长度为 8,192
词表大小为 128,256模型在经过精心筛选的 1 万亿 tok...……更多
2024-12-03 13:34:00三洲,欧亚,开发者,模型,流程,训练
...错误的方向优化；而sleep操作，也会明显降低模型训练的速度。甚至有人提到，该实习生可能修改了自己的预训练模型，因为模型参数是用ckpt文件保存的，其他人训练时会加载这个注入恶意代码的ckpt文件，因此也会导致模型训...……更多
2024-12-05 09:47:00实习生,下巴,字节,实习,论文,模型
...fa Suleyman）预测， 仅在未来三年内，大模型规模以惊人的速度继续扩张，将增长 1000 倍。一方面，模型的参数量与其能够处理和学习的复杂性直接相关。模型容量越大，往往意味着性能越好。随着模型容量增加到数万亿个参数，...……更多
2024-06-24 09:42:00新宠,模型,正在,模型,参数,训练
...或使用部分专家模型，减少不必要的计算，提升模型计算速度并降低算力需求。研究表明，与稠密模型相比，MoE+指令调优仅使用1/3算力就能提升大模型性能约45%，缩短训练时间2，且参数规模越大，效果越好。MoE不是一种全新的...……更多
2024-11-04 16:00:00研究方向,模型,现状,方向,趋势,研究
Meta版慢思考也来了。田渊栋团队带来新作Dualformer，把快慢思考无缝结合，性能提升还成本更低。能解决迷宫、推箱子等复杂问题。通过让模型在推理轨迹和最终答案上进行训练，再基于特定策略丢掉部分轨迹，Dualformer模型可...……更多
2024-10-18 09:51:00推箱子,快慢,迷宫,整合,团队,推理
...2D 平台游戏。但游戏的帧数惨不忍睹，只能以每秒一帧的速度运行，而大多数现代游戏通常是每秒 30 到 60 帧。“这是一项很酷的成果。”加拿大阿尔伯塔大学的人工智能研究员马修·古兹戴尔（Matthew Guzdial）说。他曾在几年前...……更多
2024-03-02 10:19:00马里,马里奥,模型,制作,视频,生成
...的方法基本不会导致模型性能下降，同时DisTrO-AdamW在收敛速度方面，也与标准的AdamW+All-Reduce相当。
分布式互联网训练一般来说，训练大规模神经网络涉及到大量的通信开销。比如做数据并行的时候，不同的训练数据在不同的硬...……更多
2024-09-10 13:39:00训练,分布式,世间,整合,全新,通信
...）的一种实现，其损失函数建模了时间相关的粒子坐标和速度之间的特定关系。在这项工作中，研究人员提出了一个用于大规模结构的场级模拟器，捕获宇宙学依赖性和宇宙结构形成的时间演化。
模拟器将线性位移场映射到特...……更多
2024-09-20 13:34:00暗物质,仿真,宇宙,突破,结构,粒子
更多关于科技的资讯：
作者：剑秋申遗后的春晚，正在变得更年轻？
在辞旧迎新的除夕夜，春节联欢晚会这个持续了43年的文化盛宴，在其与老搭档淘宝7年后第四次携手之际
2025-02-03 07:17:00
快科技2月2日消息，易车榜根据终端销量数据，整理了2024年上市的全新车型销量Top20榜单。具体来看，比亚迪秦L为去年上市的全新车型销冠车型
2025-02-02 23:10:00
快科技2月2日消息，据报道，苹果宣布其将开源用于构建Xcode开发环境的工具引擎Swift Build。为开发者提供更加灵活和强大的工具支持
2025-02-02 23:40:00
1942年，伟大的科幻作家艾萨克·阿西莫夫（Isaac Asimov）在他的短篇小说《转圈圈》（Runaround）中首次提出了“机器人三定律”
2025-02-02 23:40:00
各位买新能源车的时候，会考虑二手车么？反正脖子哥我是有点心动的，二手新能源大部分年份都很近，里程数很低，而且一看价格全是骨折价
2025-02-03 01:10:00
原标题：为什么新出的冰箱，吸不住冰箱贴了？作者：梁婷婷囤满食物的冰箱，在爸妈眼里自带一种年味儿，但一代人有一代人的“囤积癖”
2025-02-03 03:03:00
快科技2月2日消息，随着新能源汽车保有量的增多，每年春运期间都会出现服务区充电排队的情况。日前，有电动车车主分享了一个高速服务区充电小妙招
2025-02-02 12:40:00
快科技2月2日消息，据网络平台最新数据，截至2月2日11时12分，2025春节档总票房（含预售）破64亿元。《哪吒之魔童闹海》《唐探1900》《封神第二部
2025-02-02 12:40:00
快科技2月2日消息，RTX 5090D（国内特供版）、RTX 5080已于1月30日（大年初二）正式在国内上市。虽然性能顶级
2025-02-02 12:40:00
快科技2月2日消息，据腾讯云官微发文，DeepSeek-R1大模型一键部署至腾讯云「HAI」上，开发者仅需3分钟就能接入调用
2025-02-02 13:10:00
快科技2月2日消息，尽管2024年第四季度财报表现不佳，但Intel的制造工艺、产品并未停歇，各项工作依然在积极推进。被外界寄予厚望
2025-02-02 14:10:00
快科技2月2日消息，华为Mate XT三折叠手机近日通过了阿联酋TDRA的官方认证，型号为GRL-LX9，注册编号为ER41137/25
2025-02-02 15:10:00
快科技2月2日消息，最快的N卡和最快的A卡跑DeepSeek谁更快？最新消息显示，RTX 5090在DeepSeek R上的推理性能比AMD的 RX 7900 XTX快得多
2025-02-02 15:10:00
快科技2月2日消息，RTX 5090、5080已于1月30日正式上市，但极度缺货，想以官价买到几乎不可能。除了供应短缺之外
2025-02-02 15:40:00
2025年开年，中国外贸传来振奋人心的好消息：2024年外贸总值突破43.85万亿元，同比增长5%。人民日报署名金社平发文《从外贸看中国经济韧性》
2025-02-02 15:49:00