- 我的订阅
- 头条热搜
我们正处于一个信息大暴发的时代，每天都能产生数以百万计的新闻资讯！
虽然有大数据推荐，但面对海量数据，通过我们的调研发现，在一个小时的时间里，您通常无法真正有效地获取您感兴趣的资讯！
头条新闻资讯订阅，旨在帮助您收集感兴趣的资讯内容，并且在第一时间通知到您。可以有效节约您获取资讯的时间，避免错过一些关键信息。
...法来了：将图（Graph）转换为适合Transformer架构的线性token序列。belike：这种最新图线性化方法，反映了自然语言中局部依赖性和全局对齐性两个关键属性，即：不仅需要保留基于前文上下文预测下一个token的能力（局部依赖性）...……更多
2024-12-03 13:33:00序列,推理,模型,文本,性能,结构
...间层的token下采样，在32层中，在中间层将图像键和值的序列长度减少了四倍，使整个网络类似于只有一个下采样的传统卷积U-Net，略微加快了训练和推理时间，而且没有性能下降。3. 位置嵌入，与llama3中的旋转位置嵌入（RoPE）...……更多
2024-10-08 09:48:00文生,图形设计,深度,图形,人类,参数
...生命语言，而非自然语言，意味着不仅能处理复杂的生物序列，为药物研发、精准医疗等领域助力；还能开启更多的前沿突破，比如在基因进化、合成生物学、设计/创造生命等方面创造价值……这样一个与我们每个人都息息相...……更多
2024-11-07 09:50:00模型,重构,生命科学,序列,生命,基础
...定义模块生成和多领域数据集评估，有效提高了复杂时间序列任务的推理能力和准确性。实验结果表明，TS-Reasoner在金融决策、能源负载预测和因果关系挖掘等多个任务上，相较于现有方法具有显著的性能优势。随着近年来大型...……更多
2024-10-29 09:55:00推理,时间序列,序列,框架,难题,突破
...施，该研究建立了一个高效且用户友好的框架，即多模态序列并行 (MM-SP)，它支持训练记忆 - 密集型长上下文 VLM。对于训练 pipeline，研究者实施了一个五阶段训练流程，如图 1 所示：即 (1) 多模态对齐，(2) 大规模预训练，(3) 短...……更多
2024-08-22 09:51:00英伟,准确率,支持,视频,序列,训练
...度的状态空间模型，它能够以线性计算复杂度实现对输入序列的有效建模，在近几个月受到了广泛的关注。本文给出了一个十分有趣的发现：强大的 Mamba 模型与通常被认为性能不佳的线性注意力有着内在的相似性：本文用统一...……更多
2024-12-11 09:53:00阿里,清华,线性,视角,注意力,模型
...络（RNN）、卷积神经网络（CNN）等传统神经网络存在的长序列依赖问题。相较于RNN，Transformer具有两个显著的优势。1）处理长序列数据：RNN受限于循环结构，难以处理长序列数据。Self-attention机制能够同时处理序列中的所有位置...……更多
2024-10-21 10:03:00模型,行业报告,新纪元,报告,发展,行业
...的推理中保持或超过了全注意力模型。同时，NSA在64k长度序列的解码、前向传播和后向传播过程中实现比全注意力机制显著的加速，验证其在整个模型生命周期中的效率。“此次DeepSeek发布的论文，可以称为基石更新。”业内人...……更多
2025-02-19 18:43:00文锋,对大,注意力,模型,意味,机制
...建模为相机运动，ObjCtrl-2.5D 将三维轨迹表示为相机姿态序列，从而无需训练即可使用现有的相机运动控制 I2V 生成模型（CMC-I2V）进行物体运动控制。为了使最初为全局运动控制而设计的 CMC-I2V 模型适应于处理局部物体运动，他...……更多
2024-12-13 09:19:00推理,模型,思维,空间,模型,生成
...过程的先验知识。
为了解决这个问题，研究人员在输入序列中插入一个基于文本的tile标签以标记图块的开始以及在整个平铺结构中的位置，然后在标签后附加tile的256个图像token，总共设计了三种标签：1）无标签：无tile标签直...……更多
2024-09-24 13:36:00英伟,模态,文本,性能,模态,模型
...链接：https://huggingface.co/spirit-lm/Meta-spirit-lm将语音和文本序列拼接成一条token流，并使用一个小型的、自动整理（automatically-curated）的语音-文本平行语料库，采用逐词交错的方法进行训练。Spirit LM有两个版本：……更多
2024-11-23 09:43:00音频,模态,重磅,文本,任务,情感
...分为多个组，自回归时每组在单个帧上建模。不仅减少了序列长度、加速推理，还通过缓解长上下文建模问题来提高性能。值得注意的是，VALL-E 2仅需要简单的语音-转录文本数据进行训练，不需要额外的复杂数据，大大简化了数...……更多
2024-07-25 09:34:00堪比,微软,配音,语音,模型,人类
...sformer的自注意力机制（Self-Attention）让模型可以关注输入序列中的所有位置，并为每个位置分配不同的注意力权重。这使得模型能够更好地处理长距离的依赖关系，也就是说，对于句子中距离较远的单词，模型也能有效地捕获其...……更多
2024-08-14 09:43:00一鸣,霸主,模型,再次,模型,序列
...不同的图像，需要在图像行之间加入[IMAGE BREAK]，在图像序列的末尾加上[IMAGE END]。 FFN中的门控：在隐藏层中使用门控，而非注意力块中的标准前馈层。 序列打包：为了在单个批次中有效地处理图像，作者沿序列维度将图像展平...……更多
2024-11-20 09:43:00模态,竞技场,竞技,报告,技术,模态
...量模式。然而，它在处理具有复杂时空依赖性的数字时间序列数据时，有时会出现预测失误。与此同时，虽然预训练的基线模型在编码时空依赖关系方面表现良好，但它们可能会因为过度适应源数据集而在零样本场景中表现不佳...……更多
2024-08-01 09:40:00时空,华南,样本,理工,模型,时空
...切换的计算成本。
二是增加了常数项2.3×108D，反映了长序列MoE模型attention计算的额外开销。为了确定最优激活参数量，团队投入大量成本展开实验：训练一系列激活参数范围从10M到1B的模型，使用最高1000亿tokens的训练数据，覆...……更多
2024-11-07 09:54:00腾讯,商用,模型,参数,模型,数据
...AI发布了他们最新的98B参数蛋白质语言模型ESM3。不仅支持序列、结构、功能的all-to-all推理，团队还在实验中发现，它设计的新蛋白质相当于模拟自然界5亿年的进化。继AlphaFold 3更新后，我们又看到了一个生命科学领域的大模型ES...……更多
2024-06-27 09:31:00进化史,力作,老将,蛋白质,进化,蛋白
...贡献长上下文处理能力：预训练模型支持高达256K的文本序列，Instruct模型支持128K的文本序列，显著提升了长上下文任务的处理能力广泛的基准测试：在多种语言和任务上进行广泛实验，验证了Hunyuan-Large的实际应用效果和安全性...……更多
2024-11-05 18:56:00腾讯,模型,模型,长上,腾讯,训练
...置嵌入（M-ROPE）方法。传统的旋转位置嵌入只能捕捉一维序列的位置信息，M-ROPE 使得大规模语言模型能够同时捕捉和整合一维文本序列、二维视觉图像以及三维视频的位置信息，赋予了语言模型强大的多模态处理和推理能力，...……更多
2024-09-03 09:45:00二代,通义,阿里,模型,视觉,语言
...更大输入长度
另一方面，AlphaFold2因其高维张量运算和长序列并行计算，在推理过程中常⾯临超⼤内存需求，不光影响推理速度，还会限制更长蛋白质序列的预测。为此英特尔从软硬协同的方式给出完整解决方案。一面是提升内...……更多
2024-07-01 19:47:00人类,英特,英特尔,制药,处理,处理器
...压缩至潜在空间，然后将潜在空间分割成块并展开成长的序列嵌入z_vision。同时，使用T5将文本输入编码为文本嵌入z_text，然后将z_text和z_vision沿序列维度拼接。拼接后的嵌入被送入专家Transformer块堆栈中处理。最后，反向拼接嵌...……更多
2024-08-07 09:43:00画质,电影,视频,模型,生成,团队
...本以外的领域，Scaling Law 的踪迹正在逐渐显现，比如时间序列预测以及图像、视频这类视觉领域。下面这张图来自投稿给 ICLR 2025 的一篇论文。论文发现，在把类似于 GPT 的自回归模型应用于图像生成时，Scaling Law 同样可以被观...……更多
2024-11-27 13:32:00潜力,模型,图像,起点,领域,还是
...长文本任务处理依然存在诸多挑战，未来将进一步探索长序列人类偏好对齐，优化推理效率以减少运算时间，并继续研发更大、更强的长文本模型。据介绍，阿里云百炼已上线Qwen、Llama、Flux等超200款国内外主流开源和闭源大模...……更多
2024-11-21 09:48:00百炼,阿里,上下文,模型,上下,支持
...人系统——基于多尺度3D模型的WetaAvatar 4.0，通过整合「序列猴子」的强大文案生成能力以及「魔音工坊」的高质量语音合成技术，我们进一步强化了数字人的呈现效果，实现高度仿真的外观，同时还精心打造了生动的表情，媲...……更多
2024-04-09 14:00:00重磅,全新,数字,系统,数字,系统
...问答 (VQA) 基准生成器。LoCoVQA可以提供与问题相关的图像序列，以及一组可配置的视觉干扰项，从而准确评估VLM如何在杂乱的上下文中仅提取与查询相关的信息。从原理上讲，这也是一项「大海捞针」的任务。另外，LoCoVQA的方法...……更多
2024-07-23 17:12:00正确率,长上,下文,模型,只是,能力
...下文建模对于下一代大型语言模型的重要性。然而，随着序列长度的增加，标准注意力机制的高复杂度成为了关键的延迟瓶颈。据了解，NSA通过高效的长序列处理能力，使模型能够直接处理整本书籍、代码仓库或多轮对话（如千...……更多
2025-02-19 12:26:00文锋,技术论文,创始人,论文,技术,推理
...地，也一定要对时间、数字和逻辑敏感，无论让它做多跳推理，还是逻辑规则数字计算，而这些恰好是大语言模型所不擅长的，包括前一段时间热议的 9.9 和 9.12 比大小的例子。基于此，我们认为在垂直领域落地的时候，大语言...……更多
2024-09-13 13:33:00知识,准确率,推理,蚂蚁,框架,模型
...ONN通过以下三部分创新，使其能够处理自然图像、视觉帧序列、语音、音频事件和音乐元素等各种视频基本元素：第一部分：音视频编码和时间对齐video- SALMONN使用Whisper语音编码器和BEATs音频编码器，分别得到语音和音频的编码...……更多
2024-08-01 09:45:00模态,清华,领衔,模型,视频,音视
...了执行规划，他们要训练一个 Transformer 来建模一个 token 序列，而该序列则是以顺序方式来表示该规划任务、A* 算法的计算、由 A* 搜索得到的最优解。图 3.1 展示了其 token 化方法，其中示例是一个 3×3 迷宫的导航任务，目标是找...……更多
2024-10-17 09:47:00优势,规划,推理,轨迹,模型,慢速
...，速度也要够快才行。
Mamba凭借固定的推理开销，在长序列中的优势明显，但Transformer这边也是有推理加速方案的，比如推测解码。而由于Mamba本身的结构特性，不能直接应用这种方案，所以作者设计了全新的算法，并结合硬件...……更多
2024-09-06 10:01:00推理,更快,性能,模型,输出,训练
更多关于科技的资讯：
鲁网11月18日讯一副简约的框架眼镜，镜片后可能隐藏着快速滚动的信息流；一间平平无奇的房间，戴上头显后，就能摇身变为绚丽仙境……当科幻电影中的沉浸式场景逐渐成为现实
2025-11-18 15:45:00
大皖新闻讯 11月18日，记者从合肥市政府新闻办召开的新闻发布会获悉，近年来，合肥市围绕科技创新与产业升级需求，大胆改革科技金融政策机制
2025-11-18 15:44:00
数智驱动，唤醒高校“沉睡”的专利——AI赋能千行百业一线故事（十六）10月24日，邯郸职业技术学院知识产权学院工作人员演示AI+专利转化运用生态服务平台
2025-11-18 08:42:00
市场监管总局11月15日发布《互联网平台反垄断合规指引（征求意见稿）》，向社会公开征求意见。征求意见稿坚持问题导向，针对平台经济领域竞争行为的特点和趋势
2025-11-18 08:44:00
厦门网讯（厦门日报记者 林露虹 通讯员 郭文晨）美资企业安费诺加码投资厦门。近日，位于厦门创新创业园的安费诺（厦门）高速线缆有限公司新工厂正式投产
2025-11-18 09:03:00
11月18日，由天津市政府新闻办指导，津云新媒体主办的“‘一带一路’——我们共同的路”全球故事征集活动启动。活动以高质量共建“一带一路”八项行动为指引
2025-11-18 09:06:00
中新经纬11月18日电 题：“它走得太像人了”——为什么必须由车企来完成这一步？作者 陈兵 南开大学法学院副院长、教授
2025-11-18 13:00:00
11月18日，在2025 OceanBase年度发布会上，OceanBase发布并开源了其首款AI数据库OceanBase seekdb（简称seekdb）
2025-11-18 13:21:00
11月17日晚，第三场京东品酒会在三亚保利瑰丽酒店举办。活动现场，京东宣布在本地生活领域密集落地一系列举措：推出京东外卖App
2025-11-18 13:21:00
11月14日至16日，以“科技赋能产业，融合共创未来”为主旨的第二十七届中国国际高新技术成果交易会在深圳隆重举行。作为展现我国对外开放深度与广度的重要平台
2025-11-18 11:48:00
在航空运输业快速发展的今天，机场安全运行始终是行业关注的重点。鸟类撞击飞机的事件虽不常见，但一旦发生，可能对飞机引擎、机身结构造成损害
2025-11-18 10:47:00
大皖新闻讯 2025年11月16日，安徽电竞创新发展大会在合肥举行。汇聚来自政府部门、行业协会、知名企业及高校的众多嘉宾
2025-11-17 09:24:00
为进一步提升网点服务能力与柜员专业素养，夯实业务基础，打造有温度的金融服务，近日，邮储银行唐山市分行组织开展了“星暖燕赵 星星闪耀”星级柜员竞赛活动
2025-11-17 10:07:00