- 我的订阅
- 头条热搜
我们正处于一个信息大暴发的时代，每天都能产生数以百万计的新闻资讯！
虽然有大数据推荐，但面对海量数据，通过我们的调研发现，在一个小时的时间里，您通常无法真正有效地获取您感兴趣的资讯！
头条新闻资讯订阅，旨在帮助您收集感兴趣的资讯内容，并且在第一时间通知到您。可以有效节约您获取资讯的时间，避免错过一些关键信息。
【新智元导读】在NLP领域，研究者们已经充分认识并认可了表征学习的重要性，那么视觉领域的生成模型呢？最近，谢赛宁团队发表的一篇研究就拿出了非常有力的证据：Representation matters！扩散模型如何突破瓶颈？ 成本高又难...……更多
2024-10-23 09:55:00新作,速度,训练,学习,模型,训练
...更多详情，可以参见机器之心之前的报道：《Bengio 等人新作：注意力可被视为 RNN，新模型媲美 Transformer，但超级省内存》简化 LSTM 和 GRU在这一部分，研究者通过简化和移除各种门中的若干隐藏状态依赖关系，证明 GRU 和 LSTM 可...……更多
2024-10-15 09:56:00图灵奖,图灵,得主,新作,序列,训练
2.4B 的 Memory3比更大的 LLM 和 RAG 模型获得了更好的性能。近年来，大型语言模型 (LLM) 因其非凡的性能而获得了前所未有的关注。然而， LLM 的训练和推理成本高昂，人们一直在尝试通过各种优化方法来降低成本。本文来自上海算...……更多
2024-07-11 09:33:00维南,领衔,院士,新作,模型,存储
【新智元导读】近日，深度学习三巨头之一的Yoshua Bengio，带领团队推出了全新的RNN架构，以大道至简的思想与Transformer一较高下。在Transformer统治的AI时代之下，散落在世界各地的「RNN神教」信徒，一直相信并期待着RNN回归的那...……更多
2024-10-26 09:53:00高下,新作,大道,门控,模型,训练
Transformer 在深度学习领域取得巨大成功的关键是注意力机制。注意力机制让基于 Transformer 的模型关注与输入序列相关的部分，实现了更好的上下文理解。然而，注意力机制的缺点是计算开销大，会随输入规模而二次增长，Transfo...……更多
2024-09-03 09:59:00线性,新作,混合,作者,模型,线性
...器学习顶级国际会议 NeurIPS 2024 接收了一篇人脸表征学习新作， \"TopoFR: A Closer Look at Topology Alignment on Face Recognition\"，让我们一睹为快。
论文链接：https://arxiv……更多
2024-10-18 09:46:00人脸,拓扑,新作,模型,团队,人脸
一水 发自 凹非寺量子位 | 公众号 QbitAI尤洋团队新作，首个基于DiT的实时视频生成方法来了！先来直观感受一下效果（右侧为新方法）：这是团队在Open-Sora上，使用5个4s（192帧）480p分辨率视频进行的测试。新方法名为Pyramid Atten...……更多
2024-06-29 09:30:00新纪元,新作,实时,生成,团队,这是
...人工智能文字生成视频大模型Sora核心组件DiT相比，训练速度提升10倍以上，再次刷新SoTA最佳图像生成质量和学习速度。近日，相关成果公布于预印本服务器arXiv。2024年初，美国OpenAI公司发布Sora模型，其通过计算机视觉技术模拟...……更多
2024-04-03 07:20:00人工智能,提速,人工,模型,训练,智能
...练 AI 模型的新研究，Google 声称，该研究将大大提高训练速度和能效，比其他方法的性能高出 13 倍，能效高出 10 倍。随着有关 AI 数据中心对环境影响的讨论日益升温，新的 JEST 训练方法的出现可谓恰逢其时。DeepMind 的方法被称...……更多
2024-07-11 09:47:00赛道,训练,方法,数据,模型,学习
...盾在于内存和处理单元的分离，而且两者之间的数据传输速度较低。由于看到了这些性能限制，研究人员对可替代当前AI系统的其他计算平台重新产生了兴趣，例如光学、光子学和模拟电子学。论文将这些非常规计算平台统称为P...……更多
2024-07-15 09:33:00康奈尔,康奈,耶鲁,剑桥,变革,模型
...用的最有效工具，与FSDP相比，根据架构和参数数量，其速度最多可提高26%。通过使用YaFSDP缩短大型语言模型的训练时间，可以节省高达20%的图形处理器资源。Yandex公司高级开发人员、YaFSDP开发团队成员米哈伊尔·赫鲁晓夫（Mikhai...……更多
2024-06-18 16:13:00处理器,图形,模型,高达,训练,语言
...运动由其初始帧决定：匀速直线运动：一个球水平移动，速度保持恒定，用于说明惯性定律。
完美弹性碰撞：两个具有不同大小和速度的球水平相向运动并发生碰撞，体现了能量与动量守恒定律。
抛物线运动：一个带有初始...……更多
2024-11-09 09:59:00模型,豆包,系统性,字节,规律,团队
...电计算，在完成相同计算的前提下，光计算能够以更快的速度和更低的能耗，来实现相关神经网络。这意味着，光计算以其算力高和能耗低的优势作为智能计算的“潜力股”，为后摩尔时代带来新的希望。
推理和训练是 AI 大模...……更多
2024-08-09 09:57:00量级,清华,架构,个数,团队,速度
...进行表示学习，能够显著提升大型语言模型（LLM）的训练速度，最高可达20倍，同时保持了模型的精度。nGPT架构的核心在于将所有向量，包括嵌入、多层感知机（MLP）、注意力矩阵和隐藏状态，归一化为单位范数。这种归一化处...……更多
2024-10-20 15:52:00速度,训练,全新,模型,球面,上下文
...相比，基于AI的模拟器能给出类似的天气预测结果，而且速度更快。【科技创新世界潮】◎本报记者 刘 霞10多年前，当美国加州理工学院气候科学家塔佩奥·施奈德首次对云如何形成进行建模时，需要煞费苦心地调整描述水滴、...……更多
2024-04-02 02:08:00人工智能,新纪元,气象,人工,智能,模型
...型在RTX 4090上训练了12天，并且可以在RTX 3090上以约10 FPS的速度运行。不过该方法在模拟世界模型时，在部分场景下仍然会失效。强化学习和世界模型我们可以把环境看作是一个复杂的系统，智能体在这个系统中通过执行动作来探...……更多
2024-11-19 09:49:00模型,训练,小时,学习,世界,模型
...统的 RLHF、DPO 和 KTO 都有显著的性能提升，特别是在训练速度、内存占用和任务表现等方面。以下是实验结果的主要亮点：任务表现：在多个语言理解任务和生成任务中，UNA 的表现优于 RLHF 和 DPO。例如，在 Huggingface 的 Open LLM Lea...……更多
2024-10-10 09:56:00框架,优势,统一,综合,模型,奖励
...助手Baidu Comate升级至2.5版本，开发、业务迭代及企业落地速度大幅提升，并拥有了全新的中文名“文心快码”，正式加入百度“文心大家族”。据百度首席技术官、深度学习技术及应用国家工程研究中心主任王海峰介绍，文心一...……更多
2024-07-01 09:21:00文心,快码,程序员,模型,程序,文心
...迭代反向传播的技术相比，编辑时间显著减少。对于推理速度，修改模型参数的方法保持一致的速度，因为它们不会改变原始的推理pipeline。T-Patcher由于神经元的积累而减慢了推理速度。在基于检索的方法中，GRACE由于其独特的...……更多
2024-10-30 09:57:00模型,训练,知识,数据,模型,知识
...训练中，超连接方案展示出显著的性能提升效果，使收敛速度最高可加速 80%。自从 ResNet 提出后，残差连接已成为深度学习模型的基础组成部分。其主要作用是 —— 缓解梯度消失问题，使得网络的训练更加稳定。但是，现有残...……更多
2024-11-08 09:47:00残差,豆包,收敛,字节,模型,团队
...模型训练的效率和效果。相比于原生模型，REPA 能将收敛速度提升 17.5 倍以上。在生成质量方面，在使用带引导间隔（guidance interval）的无分类器引导时，新方法取得了 FID=1.42 的当前最佳结果。
REPA：用于表征对齐的正则化REPrese...……更多
2024-10-15 09:57:00模型,训练,方法,模型,训练,视觉
...据大小也存在Scaling（缩放）关系，通常模型大小的增长速度比数据大小的增长速度慢。具体来说，结合以往工作，团队将注意力集中在准确估计学习曲线和模型大小的缩放趋势上。按照一般测量方法，是选择最先进的SOTA模型，...……更多
2024-11-28 09:57:00模型,训练,数据,大小,研究,误差
...的训练过程，这里给出了训练过程中损失、困惑度、训练速度等信息训练细节与数据集INTELLECT-1 基于 Llama-3 架构，它包含：42 层，隐藏维度为 4,096
32 个注意力头
序列长度为 8,192
词表大小为 128,256模型在经过精心筛选的 1 万亿 tok...……更多
2024-12-03 13:34:00三洲,欧亚,开发者,模型,流程,训练
...fa Suleyman）预测， 仅在未来三年内，大模型规模以惊人的速度继续扩张，将增长 1000 倍。一方面，模型的参数量与其能够处理和学习的复杂性直接相关。模型容量越大，往往意味着性能越好。随着模型容量增加到数万亿个参数，...……更多
2024-06-24 09:42:00新宠,模型,正在,模型,参数,训练
...或使用部分专家模型，减少不必要的计算，提升模型计算速度并降低算力需求。研究表明，与稠密模型相比，MoE+指令调优仅使用1/3算力就能提升大模型性能约45%，缩短训练时间2，且参数规模越大，效果越好。MoE不是一种全新的...……更多
2024-11-04 16:00:00研究方向,模型,现状,方向,趋势,研究
Meta版慢思考也来了。田渊栋团队带来新作Dualformer，把快慢思考无缝结合，性能提升还成本更低。能解决迷宫、推箱子等复杂问题。通过让模型在推理轨迹和最终答案上进行训练，再基于特定策略丢掉部分轨迹，Dualformer模型可...……更多
2024-10-18 09:51:00推箱子,快慢,迷宫,整合,团队,推理
...2D 平台游戏。但游戏的帧数惨不忍睹，只能以每秒一帧的速度运行，而大多数现代游戏通常是每秒 30 到 60 帧。“这是一项很酷的成果。”加拿大阿尔伯塔大学的人工智能研究员马修·古兹戴尔（Matthew Guzdial）说。他曾在几年前...……更多
2024-03-02 10:19:00马里,马里奥,模型,制作,视频,生成
...的方法基本不会导致模型性能下降，同时DisTrO-AdamW在收敛速度方面，也与标准的AdamW+All-Reduce相当。
分布式互联网训练一般来说，训练大规模神经网络涉及到大量的通信开销。比如做数据并行的时候，不同的训练数据在不同的硬...……更多
2024-09-10 13:39:00训练,分布式,世间,整合,全新,通信
...）的一种实现，其损失函数建模了时间相关的粒子坐标和速度之间的特定关系。在这项工作中，研究人员提出了一个用于大规模结构的场级模拟器，捕获宇宙学依赖性和宇宙结构形成的时间演化。
模拟器将线性位移场映射到特...……更多
2024-09-20 13:34:00暗物质,仿真,宇宙,突破,结构,粒子
...据时，JEST可提升6%性能，而在以运算为代价来最大化训练速度或效率的情况下，JEST相对于可比较的IID训练运行可加速13倍。研究报告展示JEST数据品质引导的巨大潜力，即使小规模的精选数据集也能指导对更大未经管理的数据集...……更多
2024-07-09 17:41:00模型,训练,方法,数据,模型,人工智能
更多关于科技的资讯：
快科技1月14日消息，小米公司应用软件部总监@DaWang王乐 今天发文表示，小米澎湃OS的发版效率在不断提升，12月全球共发版OTA 321个全量版本
2025-01-14 20:54:00
近日，全球瞩目的2025年国际消费类电子产品展览会(简称“CES 2025”)在美国拉斯维加斯盛大启幕。山西数据流量谷入谷企业天娱数科创携自研Behavision空间智能MaaS平台首次登上CES 2025
2025-01-14 21:07:00
快科技1月14日消息，近日星巴克宣布一项新规定，推翻了2018年来实施的开放政策，北美各地门店不再免费开放，进店需要消费
2025-01-14 21:24:00
快科技1月14日消息，近日，针对部分用户反映的智界R7方向盘手感过轻的问题，华为余承东今天进行了详细回应。余承东首先解释了智界R7方向盘默认采用舒适模式的原因
2025-01-14 21:24:00
快科技1月14日消息，最近，中国移动和华为联手推出了一款名为智能追焦单元（BTU）的新技术，并在广东省深圳市成功进行了全球首次试点
2025-01-14 21:24:00
2025年春运自1月14日起到2月22日结束为期40天，全国铁路预计发送旅客5.1亿人次，日均发送1275万人次，同比增长5
2025-01-14 21:24:00
1月14日，2025年的春运拉开了大幕。据官方预计，2025年春运期间，跨区域人员流动量将达到90亿人次，自驾出行预计达到72亿人次
2025-01-14 21:47:00
快科技1月14日消息，据上海交警，近日，上海一辆威马电动车行驶到路口时，车辆突然冒出大量白烟。路口监控显示，看到车辆冒烟后
2025-01-14 21:54:00
本文转自：人民网-江苏频道活动现场。鼓轩摄1月12日，中国科学技术大学江苏校友发展大会在南京市鼓楼区召开，一批校友创业项目落地
2025-01-14 22:07:00
1月12日，润泽园教育举办了2025年第一次公开课，深度剖析了小微企业的生存现状和背后的大环境及经济发展趋势，并为小微企业提出了未来的生存建议
2025-01-14 22:06:00
快科技1月14日消息，前不久，宁德时代发布了磐石底盘，这是一套以电为中心的CIIC一体化智能底盘，主打智能和安全，定位高效安全底座
2025-01-14 16:54:00
鲁网1月14日讯工商银行泰安分行聚焦电子支付发展成果、减费让利举措、优化企业开户服务以及惠企利民的实际成效，面向制造业
2025-01-14 16:54:00
1月14日消息，当地时间本月13日，巴西总统路易斯·伊纳西奥·卢拉·达席尔瓦签署了一项限制中小学生在校园内使用智能手机的法案
2025-01-14 16:54:00
快科技1月14日消息，极氪官方今日宣布，极氪001创造卡车最重牵引纪录。据介绍，此次卡车最重牵引纪录挑战，是在-3℃的低温环境下
2025-01-14 16:54:00