- 我的订阅
- 头条热搜
我们正处于一个信息大暴发的时代，每天都能产生数以百万计的新闻资讯！
虽然有大数据推荐，但面对海量数据，通过我们的调研发现，在一个小时的时间里，您通常无法真正有效地获取您感兴趣的资讯！
头条新闻资讯订阅，旨在帮助您收集感兴趣的资讯内容，并且在第一时间通知到您。可以有效节约您获取资讯的时间，避免错过一些关键信息。
...时间序列的周期性特征。这个过程通过构建时间转移多头注意力机制实现——将未来的时空嵌入作为查询（Query），历史的时空嵌入作为键（Key），以及历史的时空数据表示作为值（Value）。
作者引入了RMSNorm来提高训练稳定性...……更多
2024-09-02 13:34:00路况,样本,模型,交通,交通,模型
...最新SOTA。这就是谷歌最新提出的 Infini-attention机制（无限注意力）。它能让Transformer架构大模型在有限的计算资源里处理无限长的输入，在内存大小上实现 114倍压缩比。什么概念？就是在内存大小不变的情况下，放进去114倍多的...……更多
2024-04-14 02:57:00大内,机制,上下文,模型,处理,上下
...的文本信息时可能会遇到困难。
本质上，Transformer 中的注意力机制通过将每个单词（或 token）与文本中的每个单词进行比较来理解上下文，它需要更多的计算能力和内存需求来处理不断增长的上下文窗口。但是如果不相应地扩...……更多
2024-08-14 09:39:00力大,架构,模型,模型,架构,训练
...上，Yi-Lightning在以下方面进行了提升。
首先是优化混合注意力机制（Hybrid Attention），只在模型的部分层次中将传统的全注意力（Full Attention）替换为滑动窗口注意力（Sliding Window Attention）。由此以来，模型在保证处理长序列数..……更多
2024-10-17 09:48:00竞技场,万物,模型,国产,竞技,模型
...现在预训练模型都是Transfomer，而Transfomer结构是嵌入层、注意力层、前反馈网络层，中间注意力层跟前反馈层都会经过N次迭代，整个运算又基本上是矩阵乘法。如果一个模型能在单个CPU上运算，那最省事了，但CPU的计算能力有限...……更多
2023-01-11 05:00:00清华,院士,高性能,人工智能,模型,智能
...术，节省内存、加速计算。研究表明，块稀疏FlashAttention注意力机制可以进一步减少GPU内存访问次数，加快计算并节省显存；结合PagedAttention构建vLLM11（一种LLM推理加速系统），可实现KV缓存零浪费且支持各请求间共享KV缓存，从...……更多
2024-11-04 16:00:00研究方向,模型,现状,方向,趋势,研究
...训练路径GRIN MoE由常规的Transformer块构成，采用分组查询注意力（GQA）和滑动窗口注意力来提高计算效率。
采用RoPE进行位置编码，以便在预训练后实现长上下文能力。在MoE架构中，模型通过路由网络为每个输入token挑选适合的专...……更多
2024-11-12 09:57:00专家,微软,路径,模型,模型,专家
...入，并更好地泛化到未见数据KV缓存压缩：采用分组查询注意力（GQA）和跨层注意力（CLA）策略，显著减少了KV缓存的内存占用和计算开销，提高了推理吞吐专家特定学习率缩放：为不同专家设置不同的学习率，确保每个子模型...……更多
2024-11-05 18:56:00腾讯,模型,模型,长上,腾讯,训练
...N - gram模型和平滑技术、循环神经网络模型、Seq2Seq模型、注意力机制、Transformer模型及预训练语言模型的基本知识。2. 大模型理论- 架构：讲解基于Transformer的编码、解码、编解码大语言模型架构，非Transformer架构如FAT、AFT、RWKV模...……更多
2024-10-23 20:38:00自然语言,模型,实践,理论,自然,语言
...其主要内容是关于NSA（即Natively Sparse Attention，原生稀疏注意力）。与此同时，在论文署名中，第一作者袁景阳是在DeepSeek实习期间完成的这项研究。让人感到惊喜和意外的是，据论文署名排名，DeepSeek创始人梁文锋现身论文著作...……更多
2025-02-19 12:26:00文锋,技术论文,创始人,论文,技术,推理
... 3D convolution）为主要模型组件，移除了自编码器中常用的注意力模块，使得模型具备不同分辨率迁移使用的能力。同时，在时间维度上因果卷积的形式也使得模型具备视频编解码具备从前向后的序列独立性，便于通过微调的方式...……更多
2024-07-27 09:30:00亦庄,甲子,生成,模型,视频,模型
...lama，成为全球第一开源模型家族。DeepSeek此前一度夺走了注意力，更是引发了新一轮的大模型技术竞赛。这个月初，Meta开源最新的LLaMA-4模型，随后快速冲上Chatbot Arena 排行榜第二，仅次于Google刚发布的 Gemini 2.5 Pro。但很快LLaMA-4...……更多
2025-04-29 16:17:00模型,阿里,话语权,中国,话语,全球
...源。目前，百度仅初步透露了多个层面的技术优化，包括注意力机制、模型架构、模型幻觉等方面。据介绍，文心4.5采用自研的FlashMask动态注意力掩码，降低了计算冗余和存储开销，可提升模型长序列建模能力和训练效率，优化...……更多
2025-03-20 11:38:00成色,补课,模型,文心,模型,模态
...密集任务。增强模型的可解释性由于 Tokenformer 完全基于注意力机制，它自然受益于在 Token-Parameter 交互中与注意力相关的可解释性特性。这一特点增强了模型的可解释性，为 AI 社区开发更透明、易理解的模型贡献力量。 ……更多
2024-11-15 09:51:00马普,北大,网络,模型,增量式,增量
...是一种文本兼容身份适配器。他们的方法采用了掩码交叉注意力技术，可无缝整合字符特征，从而在不直接传输像素的情况下实现精确的布局控制。此外，基于 MLLM 的适配器还能调整角色特征，使其与特定面板的文本线索保持一...……更多
2024-12-13 09:19:00推理,模型,思维,空间,模型,生成
...因为当前最佳的基于 Transformer 的 LLM 既深又宽，并且计算注意力的成本会随 prompt 中 token 数量而呈二次增长。举个例子，Llama 2（7B 版本）堆叠了 32 层 Transformer，模型维度为 4096。在这种情况下，TTFT 需要的 walltime 是……更多
2024-08-05 09:35:00准确度,更快,模型,苹果,缓存,模型
...性价比的训练。此外，盘和林表示，去年到今年，雷军的注意力一直在小米汽车上，如今汽车尘埃落定，雷军自然有时间关注前沿，这也说明，雷军即将押注大模型这条新赛道。(责任编辑 董湘依 制作 郑铮 宅男财经出品)来源：...……更多
2024-12-31 17:04:00雷军,竞争,年薪,算法,本质,天才
...Llama3-8B中，占端到端延迟80%的两个主要操作是矩阵乘法和注意力内核，而且它们依旧由CUDA内核操作。为了进一步提升性能，我们开始手写Triton内核来替换上述两个操作。手写Triton内核矩阵乘法对于线性层中的矩阵乘法，编写一...……更多
2024-09-07 09:48:00新时代,推理,内核,矩阵,乘法,英伟
...。也是在同一时期，在同行还普遍采用传统Transformer的自注意力计算机制时，MiniMax就已经开启了对混合注意力机制的探索，并在其后将这一技术用于M1模型。所谓混合注意力机制，就是1/8使用自注意力机制，另外7/8使用了自创的L...……更多
2025-07-02 13:31:00一群,进化论,偏执,进化,模型,技术
...本下降，起到了关键作用。”他指出，“MLA主要通过改造注意力算子压缩了KV Cache大小，实现了在同样容量下可以存储更多的KV Cache，该架构和DeepSeek-V3模型中FFN 层的改造相配合，实现了一个非常大的稀疏MoE 层，这成为DeepSeek训...……更多
2025-01-27 14:06:00中国工程院,美国硅谷,硅谷,工程院,美国,院士
...先，使用两个相同的ID来包裹其物体特征。由于LLM的因果注意力机制，这种方法通过第一个ID将ID信息与物体特征关联起来，并通过第二个ID将物体信息与其ID关联起来。其次，提出了一个后视觉顺序，将视觉tokens放置在输入序列...……更多
2024-10-16 13:35:00模型,场景,训练,语言,数据,物体
...寸变化，正在重走CNN的老路！看到大家都被LLaMA 3.1吸引了注意力，贾扬清发出如此感慨。拿大模型尺寸的发展，和CNN的发展作对比，就能发现一个明显的趋势和现象：在ImageNet时代，研究人员和技术从业者见证了参数规模的快速...……更多
2024-08-02 09:47:00特斯,马斯,马斯克,扬清,特斯拉,老路
...驾驶的渗透。首先，在算法层面，DeepSeek通过MLA(多头潜在注意力)、DeepSeekMoE(混合专家架构)以及MTP(多token预测)等多种技术手段，显著提升了模型性能和训练效率。这些技术不仅有望被各家企业借鉴，以加速智驾模型的训练速度并...……更多
2025-02-12 11:10:00亭亭,高阶,催化,模型,数据,训练
...瞩目。2017年，谷歌的几名专家提出Transformer模型，提出自注意力机制，成为深度学习的主流模型。 2018年，DeepMind发布了AlphaFold，在蛋白质结构预测中展示出惊人的能力，开辟了AI for Science（人工智能驱动科技创新）的新方向。20...……更多
2025-02-24 05:52:00四方,名家,科技,人工智能,人工,智能
...速镜头等场景有明显提升。3、从头到尾用full attention（全注意力）的机制，没有用时空模块，提升画面流畅度。混元视频生成模型采用统一的全注意力机制，使得每帧视频的衔接更为流畅，并能实现主体一致的多视角镜头切换。...……更多
2024-12-04 09:50:00腾讯,权重,推理,模型,参数,代码
...窄3)重新使用编码共享（embedding sharing）方法4)使用组查询注意力机制（grouped query attention）在此基础上，作者还提出了一种块间层共享（block-wise layer-sharing）方法，能够在不引入额外内存开销的情况下进一步提高模型准确率，但..……更多
2024-07-23 09:39:00模型,性能,移动,模型,参数,架构
...RT-DETR 引入了 YOLO 的 RepNCSP 模块，以替代冗余的多尺度自注意力层，通过重新设计轻量化的混合编码器，实现了实时 DETR；而 YOLOv10 借鉴了 DETR 的匹配策略，通过训练额外的一对一检测头，对密集 anchor 预测进行自动筛选，避免了...……更多
2024-10-30 09:52:00边界,任务,检测,目标,边界,进一
...述与生成图像之间的一致性2、在每个transformer层引入交叉注意力机制，从更精细的粒度控制图像生成，使得生成的图像更加精确地贴合文本。具体网络格式如下：归一化旋转位置编码（Normalized RoPE）对于next-scale prediction范式，如...……更多
2024-06-27 09:17:00范式,仅需,高质量,生成,模型,图像
...据大小的增长速度慢。具体来说，结合以往工作，团队将注意力集中在准确估计学习曲线和模型大小的缩放趋势上。按照一般测量方法，是选择最先进的SOTA模型，并在训练集的更大子集（碎片）上训练这些模型的 “超参数缩减 ...……更多
2024-11-28 09:57:00模型,训练,数据,大小,研究,误差
...练的大语言模型中。具体来说，该适配器：由一系列交叉注意力层组成，负责将图像编码器的表示输入进大语言模型通过在文本-图像对上的训练，实现图像表示与语言表征的对齐在适配器训练期间，Meta会对图像编码器的参数进...……更多
2024-09-27 13:39:00模态,宝宝,模型,图像,训练,文本
更多关于科技的资讯：
从乡村直播间的农特产品，到城市商场的促销热潮，再到物流行业的高效运转……记者从太原市税务局获悉，随着“双11”将下半年消费市场带入旺季
2025-11-21 08:12:00
近日，以 “量子计算+AI：重塑金融科技新范式” 为主题的前沿科技研讨会在北京召开，本次研讨会由天阳宏业科技股份有限公司（以下简称 “天阳科技”）主办
2025-11-21 08:29:00
向智而行，新型工业化加速跑——河钢集团唐钢公司构建全流程一体化生产计划排程系统，实现订单与产能高效匹配；石家庄四药集团应用生产执行系统
2025-11-21 08:36:00
“看见”，是新闻工作的起点。守护新闻工作者的清晰视野，就是守护社会公器的明亮窗口。11月18日，在厦门市新闻工作者协会指导下
2025-11-21 09:40:00
网易 UU 远程全新版本上线，在已有 Mac 控制 PC 功能的基础上，正式开放 Mac 设备被控功能，自此 Mac 实现控制与被控的双向协作
2025-11-21 09:47:00
中新经纬11月21日电 “小米公司发言人”微博21日发布关于Xiaomi Watch S4 Sport潜水功能的说明。小米公司表示
2025-11-21 11:11:00
第30届联合国气候变化大会（COP30）于11月10日至21日在巴西帕拉州首府贝伦市举办，这是2015年《巴黎协定》签署以来最受瞩目的气候大会
2025-11-21 11:36:00
11月18日，数绘星云（深圳）科技有限责任公司与腾讯云正式签订战略合作协议，双方将在云计算、大数据、AIGC等核心领域开展深度合作
2025-11-21 11:48:00
中新经纬11月21日电 据彭博社报道，当地时间20日，谷歌宣布了一款名为Nano Banana Pro的新型图像生成和编辑模型
2025-11-21 11:53:00
回望“十四五”，西安交通大学方涛教授说，他们团队倍感振奋。“在国家能源结构转型关键期，我们扎根国家‘双碳’战略，依托西安交大强大科研平台
2025-11-21 13:29:00
舒朗秋11月19日，工业和信息化部举行新闻发布会，介绍GB6675《玩具安全》系列强制性国家标准修订情况。据介绍，我国建成了全球最为完善的玩具产业链
2025-11-21 14:19:00
20日，2025世界计算大会在湖南长沙开幕。大会发布了2025全球计算十大创新成就及2026十大发展趋势。此次发布的全球计算十大创新成就包括
2025-11-21 15:35:00
2025年11月1日-2日，为期两天一夜的首届雨大王大健康私域IP创业峰会在深圳成功举办。本次峰会以"系统创业，自由人生"为主题
2025-11-21 15:41:00
随着人工智能技术加速重塑千行百业，以AI智能体为代表的AI技术正成为推动产业智能化转型的核心引擎。在保险行业，伴随数字化进程的深入推进
2025-11-21 15:42:00