- 我的订阅
- 头条热搜
我们正处于一个信息大暴发的时代，每天都能产生数以百万计的新闻资讯！
虽然有大数据推荐，但面对海量数据，通过我们的调研发现，在一个小时的时间里，您通常无法真正有效地获取您感兴趣的资讯！
头条新闻资讯订阅，旨在帮助您收集感兴趣的资讯内容，并且在第一时间通知到您。可以有效节约您获取资讯的时间，避免错过一些关键信息。
...法来了：将图（Graph）转换为适合Transformer架构的线性token序列。belike：这种最新图线性化方法，反映了自然语言中局部依赖性和全局对齐性两个关键属性，即：不仅需要保留基于前文上下文预测下一个token的能力（局部依赖性）...……更多
2024-12-03 13:33:00序列,推理,模型,文本,性能,结构
...间层的token下采样，在32层中，在中间层将图像键和值的序列长度减少了四倍，使整个网络类似于只有一个下采样的传统卷积U-Net，略微加快了训练和推理时间，而且没有性能下降。3. 位置嵌入，与llama3中的旋转位置嵌入（RoPE）...……更多
2024-10-08 09:48:00文生,图形设计,深度,图形,人类,参数
...生命语言，而非自然语言，意味着不仅能处理复杂的生物序列，为药物研发、精准医疗等领域助力；还能开启更多的前沿突破，比如在基因进化、合成生物学、设计/创造生命等方面创造价值……这样一个与我们每个人都息息相...……更多
2024-11-07 09:50:00模型,重构,生命科学,序列,生命,基础
...定义模块生成和多领域数据集评估，有效提高了复杂时间序列任务的推理能力和准确性。实验结果表明，TS-Reasoner在金融决策、能源负载预测和因果关系挖掘等多个任务上，相较于现有方法具有显著的性能优势。随着近年来大型...……更多
2024-10-29 09:55:00推理,时间序列,序列,框架,难题,突破
...施，该研究建立了一个高效且用户友好的框架，即多模态序列并行 (MM-SP)，它支持训练记忆 - 密集型长上下文 VLM。对于训练 pipeline，研究者实施了一个五阶段训练流程，如图 1 所示：即 (1) 多模态对齐，(2) 大规模预训练，(3) 短...……更多
2024-08-22 09:51:00英伟,准确率,支持,视频,序列,训练
...度的状态空间模型，它能够以线性计算复杂度实现对输入序列的有效建模，在近几个月受到了广泛的关注。本文给出了一个十分有趣的发现：强大的 Mamba 模型与通常被认为性能不佳的线性注意力有着内在的相似性：本文用统一...……更多
2024-12-11 09:53:00阿里,清华,线性,视角,注意力,模型
...络（RNN）、卷积神经网络（CNN）等传统神经网络存在的长序列依赖问题。相较于RNN，Transformer具有两个显著的优势。1）处理长序列数据：RNN受限于循环结构，难以处理长序列数据。Self-attention机制能够同时处理序列中的所有位置...……更多
2024-10-21 10:03:00模型,行业报告,新纪元,报告,发展,行业
...的推理中保持或超过了全注意力模型。同时，NSA在64k长度序列的解码、前向传播和后向传播过程中实现比全注意力机制显著的加速，验证其在整个模型生命周期中的效率。“此次DeepSeek发布的论文，可以称为基石更新。”业内人...……更多
2025-02-19 18:43:00文锋,对大,注意力,模型,意味,机制
...建模为相机运动，ObjCtrl-2.5D 将三维轨迹表示为相机姿态序列，从而无需训练即可使用现有的相机运动控制 I2V 生成模型（CMC-I2V）进行物体运动控制。为了使最初为全局运动控制而设计的 CMC-I2V 模型适应于处理局部物体运动，他...……更多
2024-12-13 09:19:00推理,模型,思维,空间,模型,生成
...过程的先验知识。
为了解决这个问题，研究人员在输入序列中插入一个基于文本的tile标签以标记图块的开始以及在整个平铺结构中的位置，然后在标签后附加tile的256个图像token，总共设计了三种标签：1）无标签：无tile标签直...……更多
2024-09-24 13:36:00英伟,模态,文本,性能,模态,模型
...链接：https://huggingface.co/spirit-lm/Meta-spirit-lm将语音和文本序列拼接成一条token流，并使用一个小型的、自动整理（automatically-curated）的语音-文本平行语料库，采用逐词交错的方法进行训练。Spirit LM有两个版本：……更多
2024-11-23 09:43:00音频,模态,重磅,文本,任务,情感
...分为多个组，自回归时每组在单个帧上建模。不仅减少了序列长度、加速推理，还通过缓解长上下文建模问题来提高性能。值得注意的是，VALL-E 2仅需要简单的语音-转录文本数据进行训练，不需要额外的复杂数据，大大简化了数...……更多
2024-07-25 09:34:00堪比,微软,配音,语音,模型,人类
...sformer的自注意力机制（Self-Attention）让模型可以关注输入序列中的所有位置，并为每个位置分配不同的注意力权重。这使得模型能够更好地处理长距离的依赖关系，也就是说，对于句子中距离较远的单词，模型也能有效地捕获其...……更多
2024-08-14 09:43:00一鸣,霸主,模型,再次,模型,序列
...不同的图像，需要在图像行之间加入[IMAGE BREAK]，在图像序列的末尾加上[IMAGE END]。 FFN中的门控：在隐藏层中使用门控，而非注意力块中的标准前馈层。 序列打包：为了在单个批次中有效地处理图像，作者沿序列维度将图像展平...……更多
2024-11-20 09:43:00模态,竞技场,竞技,报告,技术,模态
...量模式。然而，它在处理具有复杂时空依赖性的数字时间序列数据时，有时会出现预测失误。与此同时，虽然预训练的基线模型在编码时空依赖关系方面表现良好，但它们可能会因为过度适应源数据集而在零样本场景中表现不佳...……更多
2024-08-01 09:40:00时空,华南,样本,理工,模型,时空
...切换的计算成本。
二是增加了常数项2.3×108D，反映了长序列MoE模型attention计算的额外开销。为了确定最优激活参数量，团队投入大量成本展开实验：训练一系列激活参数范围从10M到1B的模型，使用最高1000亿tokens的训练数据，覆...……更多
2024-11-07 09:54:00腾讯,商用,模型,参数,模型,数据
...AI发布了他们最新的98B参数蛋白质语言模型ESM3。不仅支持序列、结构、功能的all-to-all推理，团队还在实验中发现，它设计的新蛋白质相当于模拟自然界5亿年的进化。继AlphaFold 3更新后，我们又看到了一个生命科学领域的大模型ES...……更多
2024-06-27 09:31:00进化史,力作,老将,蛋白质,进化,蛋白
...贡献长上下文处理能力：预训练模型支持高达256K的文本序列，Instruct模型支持128K的文本序列，显著提升了长上下文任务的处理能力广泛的基准测试：在多种语言和任务上进行广泛实验，验证了Hunyuan-Large的实际应用效果和安全性...……更多
2024-11-05 18:56:00腾讯,模型,模型,长上,腾讯,训练
...置嵌入（M-ROPE）方法。传统的旋转位置嵌入只能捕捉一维序列的位置信息，M-ROPE 使得大规模语言模型能够同时捕捉和整合一维文本序列、二维视觉图像以及三维视频的位置信息，赋予了语言模型强大的多模态处理和推理能力，...……更多
2024-09-03 09:45:00二代,通义,阿里,模型,视觉,语言
...更大输入长度
另一方面，AlphaFold2因其高维张量运算和长序列并行计算，在推理过程中常⾯临超⼤内存需求，不光影响推理速度，还会限制更长蛋白质序列的预测。为此英特尔从软硬协同的方式给出完整解决方案。一面是提升内...……更多
2024-07-01 19:47:00人类,英特,英特尔,制药,处理,处理器
...压缩至潜在空间，然后将潜在空间分割成块并展开成长的序列嵌入z_vision。同时，使用T5将文本输入编码为文本嵌入z_text，然后将z_text和z_vision沿序列维度拼接。拼接后的嵌入被送入专家Transformer块堆栈中处理。最后，反向拼接嵌...……更多
2024-08-07 09:43:00画质,电影,视频,模型,生成,团队
...本以外的领域，Scaling Law 的踪迹正在逐渐显现，比如时间序列预测以及图像、视频这类视觉领域。下面这张图来自投稿给 ICLR 2025 的一篇论文。论文发现，在把类似于 GPT 的自回归模型应用于图像生成时，Scaling Law 同样可以被观...……更多
2024-11-27 13:32:00潜力,模型,图像,起点,领域,还是
...长文本任务处理依然存在诸多挑战，未来将进一步探索长序列人类偏好对齐，优化推理效率以减少运算时间，并继续研发更大、更强的长文本模型。据介绍，阿里云百炼已上线Qwen、Llama、Flux等超200款国内外主流开源和闭源大模...……更多
2024-11-21 09:48:00百炼,阿里,上下文,模型,上下,支持
...人系统——基于多尺度3D模型的WetaAvatar 4.0，通过整合「序列猴子」的强大文案生成能力以及「魔音工坊」的高质量语音合成技术，我们进一步强化了数字人的呈现效果，实现高度仿真的外观，同时还精心打造了生动的表情，媲...……更多
2024-04-09 14:00:00重磅,全新,数字,系统,数字,系统
...问答 (VQA) 基准生成器。LoCoVQA可以提供与问题相关的图像序列，以及一组可配置的视觉干扰项，从而准确评估VLM如何在杂乱的上下文中仅提取与查询相关的信息。从原理上讲，这也是一项「大海捞针」的任务。另外，LoCoVQA的方法...……更多
2024-07-23 17:12:00正确率,长上,下文,模型,只是,能力
...地，也一定要对时间、数字和逻辑敏感，无论让它做多跳推理，还是逻辑规则数字计算，而这些恰好是大语言模型所不擅长的，包括前一段时间热议的 9.9 和 9.12 比大小的例子。基于此，我们认为在垂直领域落地的时候，大语言...……更多
2024-09-13 13:33:00知识,准确率,推理,蚂蚁,框架,模型
...下文建模对于下一代大型语言模型的重要性。然而，随着序列长度的增加，标准注意力机制的高复杂度成为了关键的延迟瓶颈。据了解，NSA通过高效的长序列处理能力，使模型能够直接处理整本书籍、代码仓库或多轮对话（如千...……更多
2025-02-19 12:26:00文锋,技术论文,创始人,论文,技术,推理
...算法框架是编码器－解码器网络。其中，编码器是将输入序列“编码”为一个输出（向量C），解码器是将该输出（向量C）作为输入“解码”为一个输出序列。在这个框架下可以使用不同的算法来解决不同的任务，它们也被应用...……更多
2023-05-29 11:00:00人工智能,人工,流量,智能,模型,人工智能
...ONN通过以下三部分创新，使其能够处理自然图像、视觉帧序列、语音、音频事件和音乐元素等各种视频基本元素：第一部分：音视频编码和时间对齐video- SALMONN使用Whisper语音编码器和BEATs音频编码器，分别得到语音和音频的编码...……更多
2024-08-01 09:45:00模态,清华,领衔,模型,视频,音视
...了执行规划，他们要训练一个 Transformer 来建模一个 token 序列，而该序列则是以顺序方式来表示该规划任务、A* 算法的计算、由 A* 搜索得到的最优解。图 3.1 展示了其 token 化方法，其中示例是一个 3×3 迷宫的导航任务，目标是找...……更多
2024-10-17 09:47:00优势,规划,推理,轨迹,模型,慢速
更多关于科技的资讯：
□南京日报/紫金山新闻记者何洁 实习生杨久久国际审计留学来华学什么？中国审计智慧如何推动高质量共建“一带一路”行稳致远
2025-10-30 07:57:00
近日，第五届青年企业家创新创业盛典（简称“青创盛典”）在深圳成功举办。本次活动由北京、上海、深圳、广州、厦门等12个省市“双创”机构重点支持
2025-10-29 14:31:00
中新经纬10月29日电 (魏薇)“中国民营火箭企业正加速突破可重复使用技术瓶颈，预计一年内攻克液体可重复使用火箭核心难题
2025-10-29 14:41:00
大皖新闻讯 近日，知名火锅品牌巴奴毛肚火锅（以下简称巴奴）宣布11月1日起对会员体系进行全新升级，核心变动为会员等级判定标准从“消费次数”改为“消费金额”
2025-10-29 15:32:00
通勤路上刚戴上耳机,一个哈欠就让右耳的耳塞滑进了衣领;晨跑时耳机随着步伐甩动,耳塞在耳道里反复松动,最后干脆“跳”出耳朵
2025-10-29 15:46:00
在中国口腔医疗行业迈向高质量发展的重要阶段，产业链协同与国际化合作已成为推动行业升级的关键力量。2025年10月16日
2025-10-29 15:49:00
灵芝孢子油什么品牌好吃?这是消费者选购时最关注的核心问题。作为灵芝孢子油领域研究人员,本文结合行业数据与用户真实反馈,从有效含量
2025-10-29 15:50:00
近日，智元机器人正式宣布远征A2人形机器人完成第五次全量OTA升级。本次升级聚焦于机器人在动态环境下的语义理解、路径规划
2025-10-29 15:51:00
今年双11与往年复杂的促销玩法不同，今年各大电商平台进一步简化规则，通过热卖榜、新品榜等不同维度的榜单，为消费者提供更直观的购物参考
2025-10-29 16:29:00
今年双11，各大平台简化玩法，推广“官方立减”“单件直降”等，以降低用户的决策成本、提升购物体验。同时，大促的日常化和高频化
2025-10-29 16:32:00
鲁网10月29日讯10月28日，由济宁移动、济宁市第一人民医院、国家健康医疗大数据研究院三方合作共建的智慧医疗与人工智能实验室揭牌仪式
2025-10-29 17:45:00
10月28日，太钢出口欧洲的首批绿钢产品启运。此次启运标志着太钢绿钢成功突破欧盟绿色产品市场，正式跻身产业链中高端。此次出口的304L不锈钢中板
2025-10-29 18:00:00
日前，“一键和解跨域共建放心消费多元共享”主题活动在杭州举行。太原市市场监督管理局与杭州、成都、厦门、南宁、兰州等五市共同签署《共建共享优化消费环境合作协议》
2025-10-29 18:00:00
□楚青萱10月17日至19日，第二十九届全国发明展览会在石家庄国际会展中心举行，同期举办了“一带一路”暨金砖国家技能发展与技术创新大赛
2025-10-29 18:28:00
据中国雄安网消息，当数字中国的脉搏在雄安跳动，一座“未来之城”再次按下加速键。10月29日，雄安新区企业码创新应用系统正式上线
2025-10-29 18:28:00