- 我的订阅
- 头条热搜
我们正处于一个信息大暴发的时代，每天都能产生数以百万计的新闻资讯！
虽然有大数据推荐，但面对海量数据，通过我们的调研发现，在一个小时的时间里，您通常无法真正有效地获取您感兴趣的资讯！
头条新闻资讯订阅，旨在帮助您收集感兴趣的资讯内容，并且在第一时间通知到您。可以有效节约您获取资讯的时间，避免错过一些关键信息。
...法来了：将图（Graph）转换为适合Transformer架构的线性token序列。belike：这种最新图线性化方法，反映了自然语言中局部依赖性和全局对齐性两个关键属性，即：不仅需要保留基于前文上下文预测下一个token的能力（局部依赖性）...……更多
2024-12-03 13:33:00序列,推理,模型,文本,性能,结构
...间层的token下采样，在32层中，在中间层将图像键和值的序列长度减少了四倍，使整个网络类似于只有一个下采样的传统卷积U-Net，略微加快了训练和推理时间，而且没有性能下降。3. 位置嵌入，与llama3中的旋转位置嵌入（RoPE）...……更多
2024-10-08 09:48:00文生,图形设计,深度,图形,人类,参数
...生命语言，而非自然语言，意味着不仅能处理复杂的生物序列，为药物研发、精准医疗等领域助力；还能开启更多的前沿突破，比如在基因进化、合成生物学、设计/创造生命等方面创造价值……这样一个与我们每个人都息息相...……更多
2024-11-07 09:50:00模型,重构,生命科学,序列,生命,基础
...定义模块生成和多领域数据集评估，有效提高了复杂时间序列任务的推理能力和准确性。实验结果表明，TS-Reasoner在金融决策、能源负载预测和因果关系挖掘等多个任务上，相较于现有方法具有显著的性能优势。随着近年来大型...……更多
2024-10-29 09:55:00推理,时间序列,序列,框架,难题,突破
...施，该研究建立了一个高效且用户友好的框架，即多模态序列并行 (MM-SP)，它支持训练记忆 - 密集型长上下文 VLM。对于训练 pipeline，研究者实施了一个五阶段训练流程，如图 1 所示：即 (1) 多模态对齐，(2) 大规模预训练，(3) 短...……更多
2024-08-22 09:51:00英伟,准确率,支持,视频,序列,训练
...度的状态空间模型，它能够以线性计算复杂度实现对输入序列的有效建模，在近几个月受到了广泛的关注。本文给出了一个十分有趣的发现：强大的 Mamba 模型与通常被认为性能不佳的线性注意力有着内在的相似性：本文用统一...……更多
2024-12-11 09:53:00阿里,清华,线性,视角,注意力,模型
...络（RNN）、卷积神经网络（CNN）等传统神经网络存在的长序列依赖问题。相较于RNN，Transformer具有两个显著的优势。1）处理长序列数据：RNN受限于循环结构，难以处理长序列数据。Self-attention机制能够同时处理序列中的所有位置...……更多
2024-10-21 10:03:00模型,行业报告,新纪元,报告,发展,行业
...的推理中保持或超过了全注意力模型。同时，NSA在64k长度序列的解码、前向传播和后向传播过程中实现比全注意力机制显著的加速，验证其在整个模型生命周期中的效率。“此次DeepSeek发布的论文，可以称为基石更新。”业内人...……更多
2025-02-19 18:43:00文锋,对大,注意力,模型,意味,机制
...建模为相机运动，ObjCtrl-2.5D 将三维轨迹表示为相机姿态序列，从而无需训练即可使用现有的相机运动控制 I2V 生成模型（CMC-I2V）进行物体运动控制。为了使最初为全局运动控制而设计的 CMC-I2V 模型适应于处理局部物体运动，他...……更多
2024-12-13 09:19:00推理,模型,思维,空间,模型,生成
...过程的先验知识。
为了解决这个问题，研究人员在输入序列中插入一个基于文本的tile标签以标记图块的开始以及在整个平铺结构中的位置，然后在标签后附加tile的256个图像token，总共设计了三种标签：1）无标签：无tile标签直...……更多
2024-09-24 13:36:00英伟,模态,文本,性能,模态,模型
...链接：https://huggingface.co/spirit-lm/Meta-spirit-lm将语音和文本序列拼接成一条token流，并使用一个小型的、自动整理（automatically-curated）的语音-文本平行语料库，采用逐词交错的方法进行训练。Spirit LM有两个版本：……更多
2024-11-23 09:43:00音频,模态,重磅,文本,任务,情感
...分为多个组，自回归时每组在单个帧上建模。不仅减少了序列长度、加速推理，还通过缓解长上下文建模问题来提高性能。值得注意的是，VALL-E 2仅需要简单的语音-转录文本数据进行训练，不需要额外的复杂数据，大大简化了数...……更多
2024-07-25 09:34:00堪比,微软,配音,语音,模型,人类
...sformer的自注意力机制（Self-Attention）让模型可以关注输入序列中的所有位置，并为每个位置分配不同的注意力权重。这使得模型能够更好地处理长距离的依赖关系，也就是说，对于句子中距离较远的单词，模型也能有效地捕获其...……更多
2024-08-14 09:43:00一鸣,霸主,模型,再次,模型,序列
...不同的图像，需要在图像行之间加入[IMAGE BREAK]，在图像序列的末尾加上[IMAGE END]。 FFN中的门控：在隐藏层中使用门控，而非注意力块中的标准前馈层。 序列打包：为了在单个批次中有效地处理图像，作者沿序列维度将图像展平...……更多
2024-11-20 09:43:00模态,竞技场,竞技,报告,技术,模态
...量模式。然而，它在处理具有复杂时空依赖性的数字时间序列数据时，有时会出现预测失误。与此同时，虽然预训练的基线模型在编码时空依赖关系方面表现良好，但它们可能会因为过度适应源数据集而在零样本场景中表现不佳...……更多
2024-08-01 09:40:00时空,华南,样本,理工,模型,时空
...切换的计算成本。
二是增加了常数项2.3×108D，反映了长序列MoE模型attention计算的额外开销。为了确定最优激活参数量，团队投入大量成本展开实验：训练一系列激活参数范围从10M到1B的模型，使用最高1000亿tokens的训练数据，覆...……更多
2024-11-07 09:54:00腾讯,商用,模型,参数,模型,数据
...AI发布了他们最新的98B参数蛋白质语言模型ESM3。不仅支持序列、结构、功能的all-to-all推理，团队还在实验中发现，它设计的新蛋白质相当于模拟自然界5亿年的进化。继AlphaFold 3更新后，我们又看到了一个生命科学领域的大模型ES...……更多
2024-06-27 09:31:00进化史,力作,老将,蛋白质,进化,蛋白
...贡献长上下文处理能力：预训练模型支持高达256K的文本序列，Instruct模型支持128K的文本序列，显著提升了长上下文任务的处理能力广泛的基准测试：在多种语言和任务上进行广泛实验，验证了Hunyuan-Large的实际应用效果和安全性...……更多
2024-11-05 18:56:00腾讯,模型,模型,长上,腾讯,训练
...置嵌入（M-ROPE）方法。传统的旋转位置嵌入只能捕捉一维序列的位置信息，M-ROPE 使得大规模语言模型能够同时捕捉和整合一维文本序列、二维视觉图像以及三维视频的位置信息，赋予了语言模型强大的多模态处理和推理能力，...……更多
2024-09-03 09:45:00二代,通义,阿里,模型,视觉,语言
...更大输入长度
另一方面，AlphaFold2因其高维张量运算和长序列并行计算，在推理过程中常⾯临超⼤内存需求，不光影响推理速度，还会限制更长蛋白质序列的预测。为此英特尔从软硬协同的方式给出完整解决方案。一面是提升内...……更多
2024-07-01 19:47:00人类,英特,英特尔,制药,处理,处理器
...压缩至潜在空间，然后将潜在空间分割成块并展开成长的序列嵌入z_vision。同时，使用T5将文本输入编码为文本嵌入z_text，然后将z_text和z_vision沿序列维度拼接。拼接后的嵌入被送入专家Transformer块堆栈中处理。最后，反向拼接嵌...……更多
2024-08-07 09:43:00画质,电影,视频,模型,生成,团队
...本以外的领域，Scaling Law 的踪迹正在逐渐显现，比如时间序列预测以及图像、视频这类视觉领域。下面这张图来自投稿给 ICLR 2025 的一篇论文。论文发现，在把类似于 GPT 的自回归模型应用于图像生成时，Scaling Law 同样可以被观...……更多
2024-11-27 13:32:00潜力,模型,图像,起点,领域,还是
...长文本任务处理依然存在诸多挑战，未来将进一步探索长序列人类偏好对齐，优化推理效率以减少运算时间，并继续研发更大、更强的长文本模型。据介绍，阿里云百炼已上线Qwen、Llama、Flux等超200款国内外主流开源和闭源大模...……更多
2024-11-21 09:48:00百炼,阿里,上下文,模型,上下,支持
...人系统——基于多尺度3D模型的WetaAvatar 4.0，通过整合「序列猴子」的强大文案生成能力以及「魔音工坊」的高质量语音合成技术，我们进一步强化了数字人的呈现效果，实现高度仿真的外观，同时还精心打造了生动的表情，媲...……更多
2024-04-09 14:00:00重磅,全新,数字,系统,数字,系统
...问答 (VQA) 基准生成器。LoCoVQA可以提供与问题相关的图像序列，以及一组可配置的视觉干扰项，从而准确评估VLM如何在杂乱的上下文中仅提取与查询相关的信息。从原理上讲，这也是一项「大海捞针」的任务。另外，LoCoVQA的方法...……更多
2024-07-23 17:12:00正确率,长上,下文,模型,只是,能力
...地，也一定要对时间、数字和逻辑敏感，无论让它做多跳推理，还是逻辑规则数字计算，而这些恰好是大语言模型所不擅长的，包括前一段时间热议的 9.9 和 9.12 比大小的例子。基于此，我们认为在垂直领域落地的时候，大语言...……更多
2024-09-13 13:33:00知识,准确率,推理,蚂蚁,框架,模型
...下文建模对于下一代大型语言模型的重要性。然而，随着序列长度的增加，标准注意力机制的高复杂度成为了关键的延迟瓶颈。据了解，NSA通过高效的长序列处理能力，使模型能够直接处理整本书籍、代码仓库或多轮对话（如千...……更多
2025-02-19 12:26:00文锋,技术论文,创始人,论文,技术,推理
...ONN通过以下三部分创新，使其能够处理自然图像、视觉帧序列、语音、音频事件和音乐元素等各种视频基本元素：第一部分：音视频编码和时间对齐video- SALMONN使用Whisper语音编码器和BEATs音频编码器，分别得到语音和音频的编码...……更多
2024-08-01 09:45:00模态,清华,领衔,模型,视频,音视
...了执行规划，他们要训练一个 Transformer 来建模一个 token 序列，而该序列则是以顺序方式来表示该规划任务、A* 算法的计算、由 A* 搜索得到的最优解。图 3.1 展示了其 token 化方法，其中示例是一个 3×3 迷宫的导航任务，目标是找...……更多
2024-10-17 09:47:00优势,规划,推理,轨迹,模型,慢速
...，速度也要够快才行。
Mamba凭借固定的推理开销，在长序列中的优势明显，但Transformer这边也是有推理加速方案的，比如推测解码。而由于Mamba本身的结构特性，不能直接应用这种方案，所以作者设计了全新的算法，并结合硬件...……更多
2024-09-06 10:01:00推理,更快,性能,模型,输出,训练
更多关于科技的资讯：
10月27日，在民政部养老服务司、北京市民政局的指导组织下，京东举办第6届孝老爱老购物节暨暖阳行动发布会。在适老消费需求高速增长
2025-10-28 12:01:00
摘要：方家铺子亮相深圳礼品展，以AI赋能个性化滋补，展现了东方养生的智能化新趋势。10月23日，为期4天的第33届中国（深圳）国际礼品及家居用品展览会圆满落幕
2025-10-28 12:04:00
石家庄的“新鲜”生活要来了！据官方确认，石家庄京东七鲜首店将于12月在裕华万达广场正式开业，为市民带来生鲜购物与生活方式的全新升级
2025-10-28 12:05:00
近日，OPPO发布了Find X9系列新机，以“画质革命”为核心，全面升级了移动影像能力，致力于打造手机摄影的旗舰新标杆
2025-10-28 12:07:00
大皖新闻讯 10月28日，安徽省人民政府新闻办公室召开第八届世界声博会暨2025科大讯飞全球1024开发者节筹备情况新闻发布会
2025-10-28 13:23:00
当AI浪潮席卷全球，企业品牌传播正面临前所未有的挑战。某企业市场部负责人看着一组棘手的数据：预算投入持续，但品牌声量始终不温不火
2025-10-28 13:51:00
10月27日，河北景优数字仿真科技有限公司，三维视觉设计师正在制作3D片源。河北日报记者 常方圆摄一只蜜蜂翩然“飞”离播放设备
2025-10-28 08:33:00
10月27日，第三届山西省智能制造推进大会在太原举行。在山西省卓越级智能工厂和智能制造优秀供应商授牌仪式上，太钢不锈钢股份有限公司
2025-10-28 07:23:00
当电影《博物馆奇妙夜》中展品“活”过来的奇幻场景照进现实，一场由科技驱动的文旅产业变革正悄然拉开序幕。近日，越疆初息工厂宣布成功打造全球首个超仿生具身智能体——以多模态具身智能技术“复活”的中华龙鸟
2025-10-28 07:48:00
中国消费者协会与中国物品编码中心合作，于近日在“全国消协智慧315”小程序上线“消协帮您找，扫码辨商品”新功能。该功能依托编码中心国家商品数据库的权威信息
2025-10-28 07:58:00
近日，大金科工（天津）车业有限公司（以下简称“大金科工”）开业仪式在武清开发区举行。大金科工由大行科工（深圳）股份有限公司与金轮集团共同注资成立
2025-10-27 14:11:00
第十二届王者荣耀全国大赛举办颁奖礼第十二届王者荣耀全国大赛总决赛落地天津五大道民园广场无畏契约嘉年华
前王者荣耀职业联赛选手刺痛（右）与粉丝合影无畏契约瓦友社迎新季线下活动和平精英村镇赛广东清远站
2025-10-27 14:11:00
据IDC数据显示，2025年中国GEO市场规模突破200亿元，年复合增长率高达67%，超过78%的企业已将GEO纳入品牌增长与智能营销的核心战略
2025-10-27 14:20:00
“不出海，就出局。”这句话听起来很极端，但折射出中国制造业在全球化时代的现实处境。今天，中国企业出海，已不再是讨生活般的生存选择
2025-10-27 14:23:00