- 我的订阅
- 头条热搜
我们正处于一个信息大暴发的时代，每天都能产生数以百万计的新闻资讯！
虽然有大数据推荐，但面对海量数据，通过我们的调研发现，在一个小时的时间里，您通常无法真正有效地获取您感兴趣的资讯！
头条新闻资讯订阅，旨在帮助您收集感兴趣的资讯内容，并且在第一时间通知到您。可以有效节约您获取资讯的时间，避免错过一些关键信息。
...迎投稿或者联系报道。在自然语言处理、语音识别和时间序列分析等众多领域中，序列建模是一项至关重要的任务。然而，现有的模型在捕捉长程依赖关系和高效建模序列方面仍面临诸多挑战。因此，北京大学林宙辰、徐鑫提出...……更多
2024-10-16 13:34:00序列,架构,北大,混合,团队,性能
【新智元导读】TimeMixer++是一个创新的时间序列分析模型，通过多尺度和多分辨率的方法在多个任务上超越了现有模型，展示了时间序列分析的新视角，在预测和分类等任务带来了更高的准确性和灵活性。在数据驱动的时代，时...……更多
2024-10-30 09:58:00时序,架构,团队,领先,任务,升级
...，为时序分析提供了丰富的训练资源，为各行各业的时间序列预测任务带来了新的解决方案。在当今以数据为驱动的时代，时序预测已成为众多领域不可或缺的核心组成。然而，构建一个兼具强大性能与高效运算的大规模时序预...……更多
2024-10-23 09:55:00时序,模型,团队,训练,参数,突破
...现代通用基础模型能够将多模态数据编码成统一的 Token 序列，并有效捕捉它们之间的复杂依赖关系。相反，Token-Parameter 计算主要依赖于固定的 linear projection，大大限制 model size 的 scaling。Scaling model 是通常改变模型结构，……更多
2024-11-15 09:51:00马普,北大,网络,模型,增量式,增量
...上的表现显著优于现有模型，而且在符号公式表示、时间序列预测和语言建模等实际任务中也同样表现出色，超过了Transformer等主流模型。论文链接：https://arxiv.org/pdf/2410.02675.pdf代码链接：https://github.com/YihongDong/FAN……更多
2024-11-27 13:34:00周期,缺陷,神经网络,周期性,北大,特征
...的推理中保持或超过了全注意力模型。同时，NSA在64k长度序列的解码、前向传播和后向传播过程中实现比全注意力机制显著的加速，验证其在整个模型生命周期中的效率。“此次DeepSeek发布的论文，可以称为基石更新。”业内人...……更多
2025-02-19 18:43:00文锋,对大,注意力,模型,意味,机制
...力机制。注意力机制让基于 Transformer 的模型关注与输入序列相关的部分，实现了更好的上下文理解。然而，注意力机制的缺点是计算开销大，会随输入规模而二次增长，Transformer 也因此难以处理非常长的文本。前段时间，Mamba ...……更多
2024-09-03 09:59:00线性,新作,混合,作者,模型,线性
...通过固定数量的参数来存储和回忆信息，而不是随着输入序列长度的增加而增加参数量，能减少内存占用和计算成本。线性注意力机制不同于传统Transformer中的二次方复杂度注意力机制，它能通过更小的计算开销来检索和更新长...……更多
2024-04-14 02:57:00大内,机制,上下文,模型,处理,上下
...了降低计算成本，作者利用了 transformer 计算开销与输入序列大小（即每张图像的 patch 数量）的强依赖关系。本文的主要目标是在训练过程中减少 transformer 处理每张图像的有效 patch 数。通过在 transformer 的输入层随机掩蔽（mask）...……更多
2024-07-30 09:37:00从头,模型,训练,参数,掩蔽,训练
...始，纯电动新车也开始了高性能取向的尝试，海外品牌AMG序列有了EQ车型，奥迪RS序列有了e-tron车型，中国品牌也有昊铂SSR、极氪001 FR，MG cyberster等…
性能，绝对不是纯油或纯电的专属，而性能之外，油与电的争论还在继续…油...……更多
2023-12-29 09:15:00燃油,新车,是非,年度,还是,问题
...牌类游戏不同，电子游戏通常具有实时操作、更长的动作序列以及更广泛的动作空间和观察空间。在星际争霸（StarCraft）中，玩家需要收集资源、建设基地并组建军队，通过精心的计划和战术执行，使对方玩家失去所有建筑物，...……更多
2024-09-10 13:38:00清华,北大,学习,算法,策略,训练
...费的时间，以及新模型带来的加速比。横轴为输入数据的序列长度，批量大小为64。可以看到，相比于原版的LSTM和GRU，minLSTM、minGRU和Mamba的运行时间不会随序列长度而增加（后3个模型的线在左图中重叠了）。当序列长度为4096时...……更多
2024-10-26 09:53:00高下,新作,大道,门控,模型,训练
...络（RNN）、卷积神经网络（CNN）等传统神经网络存在的长序列依赖问题。相较于RNN，Transformer具有两个显著的优势。1）处理长序列数据：RNN受限于循环结构，难以处理长序列数据。Self-attention机制能够同时处理序列中的所有位置...……更多
2024-10-21 10:03:00模型,行业报告,新纪元,报告,发展,行业
...ba 7B 的亮点：无需增加内存存储，就可以处理任意长度的序列，并且能够在单个 24GB A10 GPU 上运行。目前可以在 Hugging Face 上查看并使用 Falcon Mamba 7B，这个仅用因果解码器的模型采用了新颖的Mamba 状态空间语言模型（State Space Lan……更多
2024-08-14 09:39:00力大,架构,模型,模型,架构,训练
...过程的先验知识。
为了解决这个问题，研究人员在输入序列中插入一个基于文本的tile标签以标记图块的开始以及在整个平铺结构中的位置，然后在标签后附加tile的256个图像token，总共设计了三种标签：1）无标签：无tile标签直...……更多
2024-09-24 13:36:00英伟,模态,文本,性能,模态,模型
...覆性技术路线创新，北京将设立创新专项，前瞻布局新型架构芯片、脑智能、类脑智能等新路径探索，《若干措施》择优纳入市级科技研发计划，最高支持3000万元。在数据方面，鼓励各类主体开放共享高质量训练数据，根据数...……更多
2024-04-28 11:00:00大佬,清华,微软,重磅,北京,蚂蚁
...sformer的自注意力机制（Self-Attention）让模型可以关注输入序列中的所有位置，并为每个位置分配不同的注意力权重。这使得模型能够更好地处理长距离的依赖关系，也就是说，对于句子中距离较远的单词，模型也能有效地捕获其...……更多
2024-08-14 09:43:00一鸣,霸主,模型,再次,模型,序列
...，速度也要够快才行。
Mamba凭借固定的推理开销，在长序列中的优势明显，但Transformer这边也是有推理加速方案的，比如推测解码。而由于Mamba本身的结构特性，不能直接应用这种方案，所以作者设计了全新的算法，并结合硬件...……更多
2024-09-06 10:01:00推理,更快,性能,模型,输出,训练
...(activation sharding)和8位数字精度量化(8-bit quantization)
最大序列长度为8,192个数据单元，以处理更长的上下文信息纽约时报点评道，开源Gork背后的原始代码，是这个世界上最富有的人控制AI未来战斗的升级。Meta CEO扎克伯格刚刚也对...……更多
2024-03-20 13:44:00马斯,马斯克,模型,全球,马斯,马斯克
...时KV cache可以量化为3位整数。low-bit attention对于高效的长序列建模至关重要，它减少了KV cache的内存占用和IO，并加速了注意力计算。
在本文的实验中，作者采用RoPE后量化。使用absmax函数将QKV头直接量化为无符号整数，无需任何...……更多
2024-12-06 09:55:00架构,激活,新一代,模型,突破,激活
...链接：https://huggingface.co/spirit-lm/Meta-spirit-lm将语音和文本序列拼接成一条token流，并使用一个小型的、自动整理（automatically-curated）的语音-文本平行语料库，采用逐词交错的方法进行训练。Spirit LM有两个版本：……更多
2024-11-23 09:43:00音频,模态,重磅,文本,任务,情感
...发的蛋白质工程通用人工智能技术，实现面向功能的蛋白序列设计，并被湿实验验证成功之时，心中涌起的激动是无与伦比的。”上海交通大学自然科学研究院&物理与天文学院&药学院特聘教授洪亮表示。图 | 洪亮（来源...……更多
2024-05-07 09:24:00上海交大,人工智能,交大,上海,蛋白质,蛋白
...标后来也被应用于T5等模型，不过进行了一定修改，采用序列到序列的格式。说到这里，值得注意的是，T5中的去噪本身并不完全是一个新的目标函数（在机器学习的意义上），而是一种跨输入的数据转换，也就是说，你也可以...……更多
2024-07-22 09:39:00科学家,江湖,科学,博客,模型,目标
...（LC250）车型基于TNGA-F架构平台打造，车系中分为3种产品序列：定位旗舰豪华型的LC300、定位重载使用的LC70，以及兼顾越野和舒适性的LC250。全新的LC250是新一代Land Cruiser的核心车型，与LC300系列采用相同的GA-F平台架构，可以显...……更多
2023-11-15 09:43:00普拉多,皇冠,普拉,丰田,车展,阵容
...更大输入长度
另一方面，AlphaFold2因其高维张量运算和长序列并行计算，在推理过程中常⾯临超⼤内存需求，不光影响推理速度，还会限制更长蛋白质序列的预测。为此英特尔从软硬协同的方式给出完整解决方案。一面是提升内...……更多
2024-07-01 19:47:00人类,英特,英特尔,制药,处理,处理器
...候长城也是拿出了自己的“看家本领”，全新的两大技术序列—Hi4、Hi4-T技术。比起目前市面上大多数的混动动力技术来说更加的先进，而且是基于长城汽车“更省、更远、更安全”的理念，构建行业独有的新能源四驱混动技术...……更多
2023-11-02 11:21:00领域,智能,安全,全球,技术,越野
...后还有3款（2024Q1，maybe），主要包括-H及-U系列。从数字序列来看，则主要包括“5”，“7”两大主流系列，也是市场上销售范围最广，需求量最大的系列。当然也会有“9”系和“3”系来满足高阶和入门用户群体。
以上就是这...……更多
2023-12-16 13:46:00英特,堪比,英特尔,处理器,全新,处理
...veP核+SkymontE核的设计，但是在面向移动端主流性能的产品序列ArrowLake-H中，还会额外拥有上一代MeteorLake中的Crestmont微架构LPE核心，和MeteorLake核心种类保持为一致的P+E+LPE三丛集核心。
GPU与MeteorLake也保持一致，Arro……更多
2024-10-11 22:59:00信息,核心,架构,性能,英特,处理器
...还有许多其他潜在的应用，如表示场景或 3D 对象、时间序列预测和求解微分方程。对于一大类对连续信号建模的任务，我们都可以考虑引入隐式表征网络作为基本组件。基于本文的理论和实验基础，我们可以在未来的工作中将 Q...……更多
2024-06-27 09:24:00量子,信号,内存,指数,网络,量子
...力（Sliding Window Attention）。由此以来，模型在保证处理长序列数据高性能表现的同时，还能大大降低推理成本。Yi-Lightning还引入了跨层注意力（Cross-Layer Attention, CLA），允许模型在不同的层次之间共享键（Key）和值（Value）头，.……更多
2024-10-17 09:48:00竞技场,万物,模型,国产,竞技,模型
更多关于科技的资讯：
快科技3月5日消息，日前，凯迪拉克凯雷德IQL官图发布。作为凯雷德IQ的加长版，车身长度增加约107毫米，轴距保持不变
2025-03-05 23:42:00
快科技3月5日消息，技嘉RTX 5070 MASTER显卡今晚正式发布。现在这款新品已经来到我们评测室，下面为大家带来图赏
2025-03-06 00:12:00
快科技3月6日消息，日前，中国联通在MWC 2025（世界移动通信大会）上发布全新Wi-Fi 7 BE3600智能路由器——VS057
2025-03-06 00:42:00
3月6日消息，据媒体报道，一名80后男子买彩20年意外中得1800万，他称“做梦也不敢想”。据了解，当事人迟到了20天才去领奖
2025-03-06 00:42:00
快科技3月6日消息，苹果Mac Studio正式上架苹果官网，M4 Max版本定价是16499元（36G内存+512G固态硬盘）
2025-03-06 00:42:00
江南时报讯 昆山农商银行积极创新工作方式，依托新建的智慧厅堂系统，结合全行厅堂一体化建设，为这场重要战役注入强大动力，切实提升服务质量
2025-03-06 02:07:00
江南时报讯 溧水农商银行秦淮支行始终秉持“家门口的银行”的服务理念，聚焦老年客户群体的金融服务需求，通过多项举措提升服务质量和效率
2025-03-06 02:09:00
本文转自：人民日报海外版AI（人工智能）有多火？大家都有切身感受。今年两会，全国人大首场新闻发布会上，AI也是热点话题之一
2025-03-06 05:07:00
本文转自：人民日报当前，随着数字经济与智能技术深度融合，工会系统正加速迈向数智化转型新阶段。作为职工权益的守护者与服务者
2025-03-06 06:06:00
本文转自：人民日报300多家中企亮相2025年世界移动通信大会——“中国企业、中国产品每年都非常令人期待”本报记者 颜 欢 许海林2025年世界移动通信大会上
2025-03-06 06:35:00
旅游AI应用提速！杭州日报讯 依靠各类AI（人工智能）语言模型，旅游领域的AI应用正在提速。继同程旅行之后，飞猪旅行也宣布
2025-03-06 06:57:00
即问即办，医保高频事项办理时长缩短80%杭州日报讯 “我爸有高血压，医保有什么待遇啊？”市医保经办服务大厅，60岁的张大伯面对杭州医保AI超写实数字人“依保儿”说出困惑
2025-03-06 06:58:00
快科技3月6日消息，在巴塞罗那举行的世界移动通信大会，小米15 Ultra拿下了MWC 2025"Best in Show"大奖
2025-03-06 07:12:00
快科技3月5日消息，高速路口严禁停车、倒车等驾驶行为，但还是有司机抱有侥幸心理，殊不知自己的小动作在摄像头下一览无余。据公安部交通管理局公布的视频显示
2025-03-06 07:12:00
3月6日消息，全国人大代表、贵州合力超市集团董事长李德祥接受采访时表示，幸福就是给员工涨工资。贵州合力超市集团董事长李德祥表示
2025-03-06 07:12:00