- 我的订阅
- 头条热搜
我们正处于一个信息大暴发的时代，每天都能产生数以百万计的新闻资讯！
虽然有大数据推荐，但面对海量数据，通过我们的调研发现，在一个小时的时间里，您通常无法真正有效地获取您感兴趣的资讯！
头条新闻资讯订阅，旨在帮助您收集感兴趣的资讯内容，并且在第一时间通知到您。可以有效节约您获取资讯的时间，避免错过一些关键信息。
...法来了：将图（Graph）转换为适合Transformer架构的线性token序列。belike：这种最新图线性化方法，反映了自然语言中局部依赖性和全局对齐性两个关键属性，即：不仅需要保留基于前文上下文预测下一个token的能力（局部依赖性）...……更多
2024-12-03 13:33:00序列,推理,模型,文本,性能,结构
...间层的token下采样，在32层中，在中间层将图像键和值的序列长度减少了四倍，使整个网络类似于只有一个下采样的传统卷积U-Net，略微加快了训练和推理时间，而且没有性能下降。3. 位置嵌入，与llama3中的旋转位置嵌入（RoPE）...……更多
2024-10-08 09:48:00文生,图形设计,深度,图形,人类,参数
...生命语言，而非自然语言，意味着不仅能处理复杂的生物序列，为药物研发、精准医疗等领域助力；还能开启更多的前沿突破，比如在基因进化、合成生物学、设计/创造生命等方面创造价值……这样一个与我们每个人都息息相...……更多
2024-11-07 09:50:00模型,重构,生命科学,序列,生命,基础
...定义模块生成和多领域数据集评估，有效提高了复杂时间序列任务的推理能力和准确性。实验结果表明，TS-Reasoner在金融决策、能源负载预测和因果关系挖掘等多个任务上，相较于现有方法具有显著的性能优势。随着近年来大型...……更多
2024-10-29 09:55:00推理,时间序列,序列,框架,难题,突破
...施，该研究建立了一个高效且用户友好的框架，即多模态序列并行 (MM-SP)，它支持训练记忆 - 密集型长上下文 VLM。对于训练 pipeline，研究者实施了一个五阶段训练流程，如图 1 所示：即 (1) 多模态对齐，(2) 大规模预训练，(3) 短...……更多
2024-08-22 09:51:00英伟,准确率,支持,视频,序列,训练
...度的状态空间模型，它能够以线性计算复杂度实现对输入序列的有效建模，在近几个月受到了广泛的关注。本文给出了一个十分有趣的发现：强大的 Mamba 模型与通常被认为性能不佳的线性注意力有着内在的相似性：本文用统一...……更多
2024-12-11 09:53:00阿里,清华,线性,视角,注意力,模型
...络（RNN）、卷积神经网络（CNN）等传统神经网络存在的长序列依赖问题。相较于RNN，Transformer具有两个显著的优势。1）处理长序列数据：RNN受限于循环结构，难以处理长序列数据。Self-attention机制能够同时处理序列中的所有位置...……更多
2024-10-21 10:03:00模型,行业报告,新纪元,报告,发展,行业
...的推理中保持或超过了全注意力模型。同时，NSA在64k长度序列的解码、前向传播和后向传播过程中实现比全注意力机制显著的加速，验证其在整个模型生命周期中的效率。“此次DeepSeek发布的论文，可以称为基石更新。”业内人...……更多
2025-02-19 18:43:00文锋,对大,注意力,模型,意味,机制
...建模为相机运动，ObjCtrl-2.5D 将三维轨迹表示为相机姿态序列，从而无需训练即可使用现有的相机运动控制 I2V 生成模型（CMC-I2V）进行物体运动控制。为了使最初为全局运动控制而设计的 CMC-I2V 模型适应于处理局部物体运动，他...……更多
2024-12-13 09:19:00推理,模型,思维,空间,模型,生成
...过程的先验知识。
为了解决这个问题，研究人员在输入序列中插入一个基于文本的tile标签以标记图块的开始以及在整个平铺结构中的位置，然后在标签后附加tile的256个图像token，总共设计了三种标签：1）无标签：无tile标签直...……更多
2024-09-24 13:36:00英伟,模态,文本,性能,模态,模型
...链接：https://huggingface.co/spirit-lm/Meta-spirit-lm将语音和文本序列拼接成一条token流，并使用一个小型的、自动整理（automatically-curated）的语音-文本平行语料库，采用逐词交错的方法进行训练。Spirit LM有两个版本：……更多
2024-11-23 09:43:00音频,模态,重磅,文本,任务,情感
...分为多个组，自回归时每组在单个帧上建模。不仅减少了序列长度、加速推理，还通过缓解长上下文建模问题来提高性能。值得注意的是，VALL-E 2仅需要简单的语音-转录文本数据进行训练，不需要额外的复杂数据，大大简化了数...……更多
2024-07-25 09:34:00堪比,微软,配音,语音,模型,人类
...sformer的自注意力机制（Self-Attention）让模型可以关注输入序列中的所有位置，并为每个位置分配不同的注意力权重。这使得模型能够更好地处理长距离的依赖关系，也就是说，对于句子中距离较远的单词，模型也能有效地捕获其...……更多
2024-08-14 09:43:00一鸣,霸主,模型,再次,模型,序列
...不同的图像，需要在图像行之间加入[IMAGE BREAK]，在图像序列的末尾加上[IMAGE END]。 FFN中的门控：在隐藏层中使用门控，而非注意力块中的标准前馈层。 序列打包：为了在单个批次中有效地处理图像，作者沿序列维度将图像展平...……更多
2024-11-20 09:43:00模态,竞技场,竞技,报告,技术,模态
...量模式。然而，它在处理具有复杂时空依赖性的数字时间序列数据时，有时会出现预测失误。与此同时，虽然预训练的基线模型在编码时空依赖关系方面表现良好，但它们可能会因为过度适应源数据集而在零样本场景中表现不佳...……更多
2024-08-01 09:40:00时空,华南,样本,理工,模型,时空
...切换的计算成本。
二是增加了常数项2.3×108D，反映了长序列MoE模型attention计算的额外开销。为了确定最优激活参数量，团队投入大量成本展开实验：训练一系列激活参数范围从10M到1B的模型，使用最高1000亿tokens的训练数据，覆...……更多
2024-11-07 09:54:00腾讯,商用,模型,参数,模型,数据
...AI发布了他们最新的98B参数蛋白质语言模型ESM3。不仅支持序列、结构、功能的all-to-all推理，团队还在实验中发现，它设计的新蛋白质相当于模拟自然界5亿年的进化。继AlphaFold 3更新后，我们又看到了一个生命科学领域的大模型ES...……更多
2024-06-27 09:31:00进化史,力作,老将,蛋白质,进化,蛋白
...贡献长上下文处理能力：预训练模型支持高达256K的文本序列，Instruct模型支持128K的文本序列，显著提升了长上下文任务的处理能力广泛的基准测试：在多种语言和任务上进行广泛实验，验证了Hunyuan-Large的实际应用效果和安全性...……更多
2024-11-05 18:56:00腾讯,模型,模型,长上,腾讯,训练
...置嵌入（M-ROPE）方法。传统的旋转位置嵌入只能捕捉一维序列的位置信息，M-ROPE 使得大规模语言模型能够同时捕捉和整合一维文本序列、二维视觉图像以及三维视频的位置信息，赋予了语言模型强大的多模态处理和推理能力，...……更多
2024-09-03 09:45:00二代,通义,阿里,模型,视觉,语言
...更大输入长度
另一方面，AlphaFold2因其高维张量运算和长序列并行计算，在推理过程中常⾯临超⼤内存需求，不光影响推理速度，还会限制更长蛋白质序列的预测。为此英特尔从软硬协同的方式给出完整解决方案。一面是提升内...……更多
2024-07-01 19:47:00人类,英特,英特尔,制药,处理,处理器
...压缩至潜在空间，然后将潜在空间分割成块并展开成长的序列嵌入z_vision。同时，使用T5将文本输入编码为文本嵌入z_text，然后将z_text和z_vision沿序列维度拼接。拼接后的嵌入被送入专家Transformer块堆栈中处理。最后，反向拼接嵌...……更多
2024-08-07 09:43:00画质,电影,视频,模型,生成,团队
...本以外的领域，Scaling Law 的踪迹正在逐渐显现，比如时间序列预测以及图像、视频这类视觉领域。下面这张图来自投稿给 ICLR 2025 的一篇论文。论文发现，在把类似于 GPT 的自回归模型应用于图像生成时，Scaling Law 同样可以被观...……更多
2024-11-27 13:32:00潜力,模型,图像,起点,领域,还是
...长文本任务处理依然存在诸多挑战，未来将进一步探索长序列人类偏好对齐，优化推理效率以减少运算时间，并继续研发更大、更强的长文本模型。据介绍，阿里云百炼已上线Qwen、Llama、Flux等超200款国内外主流开源和闭源大模...……更多
2024-11-21 09:48:00百炼,阿里,上下文,模型,上下,支持
...人系统——基于多尺度3D模型的WetaAvatar 4.0，通过整合「序列猴子」的强大文案生成能力以及「魔音工坊」的高质量语音合成技术，我们进一步强化了数字人的呈现效果，实现高度仿真的外观，同时还精心打造了生动的表情，媲...……更多
2024-04-09 14:00:00重磅,全新,数字,系统,数字,系统
...问答 (VQA) 基准生成器。LoCoVQA可以提供与问题相关的图像序列，以及一组可配置的视觉干扰项，从而准确评估VLM如何在杂乱的上下文中仅提取与查询相关的信息。从原理上讲，这也是一项「大海捞针」的任务。另外，LoCoVQA的方法...……更多
2024-07-23 17:12:00正确率,长上,下文,模型,只是,能力
...下文建模对于下一代大型语言模型的重要性。然而，随着序列长度的增加，标准注意力机制的高复杂度成为了关键的延迟瓶颈。据了解，NSA通过高效的长序列处理能力，使模型能够直接处理整本书籍、代码仓库或多轮对话（如千...……更多
2025-02-19 12:26:00文锋,技术论文,创始人,论文,技术,推理
...地，也一定要对时间、数字和逻辑敏感，无论让它做多跳推理，还是逻辑规则数字计算，而这些恰好是大语言模型所不擅长的，包括前一段时间热议的 9.9 和 9.12 比大小的例子。基于此，我们认为在垂直领域落地的时候，大语言...……更多
2024-09-13 13:33:00知识,准确率,推理,蚂蚁,框架,模型
...ONN通过以下三部分创新，使其能够处理自然图像、视觉帧序列、语音、音频事件和音乐元素等各种视频基本元素：第一部分：音视频编码和时间对齐video- SALMONN使用Whisper语音编码器和BEATs音频编码器，分别得到语音和音频的编码...……更多
2024-08-01 09:45:00模态,清华,领衔,模型,视频,音视
...了执行规划，他们要训练一个 Transformer 来建模一个 token 序列，而该序列则是以顺序方式来表示该规划任务、A* 算法的计算、由 A* 搜索得到的最优解。图 3.1 展示了其 token 化方法，其中示例是一个 3×3 迷宫的导航任务，目标是找...……更多
2024-10-17 09:47:00优势,规划,推理,轨迹,模型,慢速
...，速度也要够快才行。
Mamba凭借固定的推理开销，在长序列中的优势明显，但Transformer这边也是有推理加速方案的，比如推测解码。而由于Mamba本身的结构特性，不能直接应用这种方案，所以作者设计了全新的算法，并结合硬件...……更多
2024-09-06 10:01:00推理,更快,性能,模型,输出,训练
更多关于科技的资讯：
国际大咖为“南京故事”国际传播支招在中国制作 向世界传播南报网讯（记者乔雅萱）11月22日上午，南京国际传播中心揭牌仪式现场
2025-11-26 10:27:00
□南京日报/紫金山新闻记者曹丽珍今年以来，一股赴港上市浪潮正在全国范围内持续奔涌。相关数据显示，今年前三季度，中国企业境外首次公开募股（IPO）的活跃度大幅回升
2025-11-26 10:27:00
南京加快释放数据要素价值培育壮大数据产业一张购物小票，掘出一座“数据金山”晓数通社区微数据中心。 江苏荣泽信息科技股份有限公司供图数族科技
2025-11-26 10:27:00
南报网讯（记者朱旖旎通讯员刘芳）深秋的南京，一场跨越山海的双向奔赴正在发生。近日，2025中欧机器人产业合作（南京）对接会在栖霞区召开
2025-11-26 10:28:00
近日，2025南京医疗器械“产学研医”对接会在高淳举办，高校、医院、企业等多方代表齐聚。活动搭建协同平台，助力产业创新与成果转化
2025-11-26 10:28:00
在长三角文博会上亮出“文化家底”和数字创新实力南京打造微短剧产业集聚高地□南京日报/紫金山新闻记者朱静近日，一场聚焦微短剧的产业合作交流活动在国家会展中心（上海）火热举办
2025-11-26 10:28:00
相约十年，让制造更聪明——写在2025世界智能制造大会即将召开之际□南京日报/紫金山新闻记者徐宁 实习生黄倩“作为南京智能制造产业的标杆力量
2025-11-26 10:28:00
近日，在南京天加环境科技有限公司今年5月投产的天加洁净基地内，高度自动化生产线正生产发泡板机、换热器等核心零部件。该生产基地建立了从客户需求到最终交付的“端到端”全流程数字化运营体系
2025-11-26 10:28:00
东南网11月26日讯（福建日报记者 李珂） 记者从厦门大学获悉，日前，该校萨本栋微米纳米科学技术研究院吴德志教授团队在3D打印技术领域取得突破性进展——首创“激光原位诱导直写打印”技术
2025-11-26 10:34:00
厦门网讯（厦门日报记者 张珺 通讯员 吴冰冰）我市跨境电商生态再添新支点，日前，POD（按需定制）专卖孵化平台公司正式落户银城智谷海熹跨境电商产业园
2025-11-25 08:11:00
这位“农事专家”，让种地更聪明——AI赋能千行百业一线故事（十七）11月14日，雄安新区都市农业科技博览园温室大棚内，工作人员查看番茄长势
2025-11-25 08:41:00
2025 年 11 月 20 日-21日—— 在备受文旅与酒店行业瞩目的 “2025 迈点文旅节・第七届迈点酒店运营创新大会” 上
2025-11-25 09:25:00
2025年“双十一”收官，中国电商行业持续稳健增长，行业生态也迎来深刻演进。各大平台已从流量竞争转向全域生态协同，“双十一”形态亦呈现“简-繁-简”的演变
2025-11-25 09:25:00
2025年，在常州市工信局公示的近零碳工厂名单中，伊顿电力设备有限公司和黑牡丹纺织有限公司两家企业相继成功入选。根据常州市的标准
2025-11-25 10:16:00
人工智能技术的深度嵌入，正重塑人才培养逻辑与知识范式，高等教育人才培养体系面临着前所未有的挑战。“数字创业自我效能驱动创业意向（DESE-EI）模型及边界条件研究（24A0450）”课题组研究认为
2025-11-25 10:31:00