- 我的订阅
- 头条热搜
我们正处于一个信息大暴发的时代，每天都能产生数以百万计的新闻资讯！
虽然有大数据推荐，但面对海量数据，通过我们的调研发现，在一个小时的时间里，您通常无法真正有效地获取您感兴趣的资讯！
头条新闻资讯订阅，旨在帮助您收集感兴趣的资讯内容，并且在第一时间通知到您。可以有效节约您获取资讯的时间，避免错过一些关键信息。
...迎投稿或者联系报道。在自然语言处理、语音识别和时间序列分析等众多领域中，序列建模是一项至关重要的任务。然而，现有的模型在捕捉长程依赖关系和高效建模序列方面仍面临诸多挑战。因此，北京大学林宙辰、徐鑫提出...……更多
2024-10-16 13:34:00序列,架构,北大,混合,团队,性能
【新智元导读】TimeMixer++是一个创新的时间序列分析模型，通过多尺度和多分辨率的方法在多个任务上超越了现有模型，展示了时间序列分析的新视角，在预测和分类等任务带来了更高的准确性和灵活性。在数据驱动的时代，时...……更多
2024-10-30 09:58:00时序,架构,团队,领先,任务,升级
...，为时序分析提供了丰富的训练资源，为各行各业的时间序列预测任务带来了新的解决方案。在当今以数据为驱动的时代，时序预测已成为众多领域不可或缺的核心组成。然而，构建一个兼具强大性能与高效运算的大规模时序预...……更多
2024-10-23 09:55:00时序,模型,团队,训练,参数,突破
...现代通用基础模型能够将多模态数据编码成统一的 Token 序列，并有效捕捉它们之间的复杂依赖关系。相反，Token-Parameter 计算主要依赖于固定的 linear projection，大大限制 model size 的 scaling。Scaling model 是通常改变模型结构，……更多
2024-11-15 09:51:00马普,北大,网络,模型,增量式,增量
...力机制。注意力机制让基于 Transformer 的模型关注与输入序列相关的部分，实现了更好的上下文理解。然而，注意力机制的缺点是计算开销大，会随输入规模而二次增长，Transformer 也因此难以处理非常长的文本。前段时间，Mamba ...……更多
2024-09-03 09:59:00线性,新作,混合,作者,模型,线性
...通过固定数量的参数来存储和回忆信息，而不是随着输入序列长度的增加而增加参数量，能减少内存占用和计算成本。线性注意力机制不同于传统Transformer中的二次方复杂度注意力机制，它能通过更小的计算开销来检索和更新长...……更多
2024-04-14 02:57:00大内,机制,上下文,模型,处理,上下
...了降低计算成本，作者利用了 transformer 计算开销与输入序列大小（即每张图像的 patch 数量）的强依赖关系。本文的主要目标是在训练过程中减少 transformer 处理每张图像的有效 patch 数。通过在 transformer 的输入层随机掩蔽（mask）...……更多
2024-07-30 09:37:00从头,模型,训练,参数,掩蔽,训练
...始，纯电动新车也开始了高性能取向的尝试，海外品牌AMG序列有了EQ车型，奥迪RS序列有了e-tron车型，中国品牌也有昊铂SSR、极氪001 FR，MG cyberster等…
性能，绝对不是纯油或纯电的专属，而性能之外，油与电的争论还在继续…油...……更多
2023-12-29 09:15:00燃油,新车,是非,年度,还是,问题
...牌类游戏不同，电子游戏通常具有实时操作、更长的动作序列以及更广泛的动作空间和观察空间。在星际争霸（StarCraft）中，玩家需要收集资源、建设基地并组建军队，通过精心的计划和战术执行，使对方玩家失去所有建筑物，...……更多
2024-09-10 13:38:00清华,北大,学习,算法,策略,训练
...费的时间，以及新模型带来的加速比。横轴为输入数据的序列长度，批量大小为64。可以看到，相比于原版的LSTM和GRU，minLSTM、minGRU和Mamba的运行时间不会随序列长度而增加（后3个模型的线在左图中重叠了）。当序列长度为4096时...……更多
2024-10-26 09:53:00高下,新作,大道,门控,模型,训练
...络（RNN）、卷积神经网络（CNN）等传统神经网络存在的长序列依赖问题。相较于RNN，Transformer具有两个显著的优势。1）处理长序列数据：RNN受限于循环结构，难以处理长序列数据。Self-attention机制能够同时处理序列中的所有位置...……更多
2024-10-21 10:03:00模型,行业报告,新纪元,报告,发展,行业
...ba 7B 的亮点：无需增加内存存储，就可以处理任意长度的序列，并且能够在单个 24GB A10 GPU 上运行。目前可以在 Hugging Face 上查看并使用 Falcon Mamba 7B，这个仅用因果解码器的模型采用了新颖的Mamba 状态空间语言模型（State Space Lan……更多
2024-08-14 09:39:00力大,架构,模型,模型,架构,训练
...过程的先验知识。
为了解决这个问题，研究人员在输入序列中插入一个基于文本的tile标签以标记图块的开始以及在整个平铺结构中的位置，然后在标签后附加tile的256个图像token，总共设计了三种标签：1）无标签：无tile标签直...……更多
2024-09-24 13:36:00英伟,模态,文本,性能,模态,模型
...覆性技术路线创新，北京将设立创新专项，前瞻布局新型架构芯片、脑智能、类脑智能等新路径探索，《若干措施》择优纳入市级科技研发计划，最高支持3000万元。在数据方面，鼓励各类主体开放共享高质量训练数据，根据数...……更多
2024-04-28 11:00:00大佬,清华,微软,重磅,北京,蚂蚁
...sformer的自注意力机制（Self-Attention）让模型可以关注输入序列中的所有位置，并为每个位置分配不同的注意力权重。这使得模型能够更好地处理长距离的依赖关系，也就是说，对于句子中距离较远的单词，模型也能有效地捕获其...……更多
2024-08-14 09:43:00一鸣,霸主,模型,再次,模型,序列
...，速度也要够快才行。
Mamba凭借固定的推理开销，在长序列中的优势明显，但Transformer这边也是有推理加速方案的，比如推测解码。而由于Mamba本身的结构特性，不能直接应用这种方案，所以作者设计了全新的算法，并结合硬件...……更多
2024-09-06 10:01:00推理,更快,性能,模型,输出,训练
...(activation sharding)和8位数字精度量化(8-bit quantization)
最大序列长度为8,192个数据单元，以处理更长的上下文信息纽约时报点评道，开源Gork背后的原始代码，是这个世界上最富有的人控制AI未来战斗的升级。Meta CEO扎克伯格刚刚也对...……更多
2024-03-20 13:44:00马斯,马斯克,模型,全球,马斯,马斯克
...链接：https://huggingface.co/spirit-lm/Meta-spirit-lm将语音和文本序列拼接成一条token流，并使用一个小型的、自动整理（automatically-curated）的语音-文本平行语料库，采用逐词交错的方法进行训练。Spirit LM有两个版本：……更多
2024-11-23 09:43:00音频,模态,重磅,文本,任务,情感
...发的蛋白质工程通用人工智能技术，实现面向功能的蛋白序列设计，并被湿实验验证成功之时，心中涌起的激动是无与伦比的。”上海交通大学自然科学研究院&物理与天文学院&药学院特聘教授洪亮表示。图 | 洪亮（来源...……更多
2024-05-07 09:24:00上海交大,人工智能,交大,上海,蛋白质,蛋白
...标后来也被应用于T5等模型，不过进行了一定修改，采用序列到序列的格式。说到这里，值得注意的是，T5中的去噪本身并不完全是一个新的目标函数（在机器学习的意义上），而是一种跨输入的数据转换，也就是说，你也可以...……更多
2024-07-22 09:39:00科学家,江湖,科学,博客,模型,目标
...（LC250）车型基于TNGA-F架构平台打造，车系中分为3种产品序列：定位旗舰豪华型的LC300、定位重载使用的LC70，以及兼顾越野和舒适性的LC250。全新的LC250是新一代Land Cruiser的核心车型，与LC300系列采用相同的GA-F平台架构，可以显...……更多
2023-11-15 09:43:00普拉多,皇冠,普拉,丰田,车展,阵容
...更大输入长度
另一方面，AlphaFold2因其高维张量运算和长序列并行计算，在推理过程中常⾯临超⼤内存需求，不光影响推理速度，还会限制更长蛋白质序列的预测。为此英特尔从软硬协同的方式给出完整解决方案。一面是提升内...……更多
2024-07-01 19:47:00人类,英特,英特尔,制药,处理,处理器
...候长城也是拿出了自己的“看家本领”，全新的两大技术序列—Hi4、Hi4-T技术。比起目前市面上大多数的混动动力技术来说更加的先进，而且是基于长城汽车“更省、更远、更安全”的理念，构建行业独有的新能源四驱混动技术...……更多
2023-11-02 11:21:00领域,智能,安全,全球,技术,越野
...后还有3款（2024Q1，maybe），主要包括-H及-U系列。从数字序列来看，则主要包括“5”，“7”两大主流系列，也是市场上销售范围最广，需求量最大的系列。当然也会有“9”系和“3”系来满足高阶和入门用户群体。
以上就是这...……更多
2023-12-16 13:46:00英特,堪比,英特尔,处理器,全新,处理
...veP核+SkymontE核的设计，但是在面向移动端主流性能的产品序列ArrowLake-H中，还会额外拥有上一代MeteorLake中的Crestmont微架构LPE核心，和MeteorLake核心种类保持为一致的P+E+LPE三丛集核心。
GPU与MeteorLake也保持一致，Arro……更多
2024-10-11 22:59:00信息,核心,架构,性能,英特,处理器
...还有许多其他潜在的应用，如表示场景或 3D 对象、时间序列预测和求解微分方程。对于一大类对连续信号建模的任务，我们都可以考虑引入隐式表征网络作为基本组件。基于本文的理论和实验基础，我们可以在未来的工作中将 Q...……更多
2024-06-27 09:24:00量子,信号,内存,指数,网络,量子
...利用 Checkpoint 保存过程中 GPU 到 CPU 内存拷贝 ( D2H 复制)，序列化，本地存盘，上传到存储系统各个阶段的执行独立性。此外，不同训练进程共同分担 Checkpoint 存取任务的并行处理潜力也没有被充分发掘。这些系统设计上的不足增...……更多
2024-08-09 09:37:00万卡,训练,豆包,脆皮,大为,模型
...力（Sliding Window Attention）。由此以来，模型在保证处理长序列数据高性能表现的同时，还能大大降低推理成本。Yi-Lightning还引入了跨层注意力（Cross-Layer Attention, CLA），允许模型在不同的层次之间共享键（Key）和值（Value）头，.……更多
2024-10-17 09:48:00竞技场,万物,模型,国产,竞技,模型
...的示例，这里运行具有四个输入 token 和四个输出 token 的序列。每种颜色代表不同的序列。
我们可以扩展相同的技巧，从而运行具有 2048 个输入 token 和 128 个输出 token 的 Llama 3 70B。每个 batch 中包含用于一个序列的 2048 个输入 to.……更多
2024-06-27 09:24:00辍学生,哈佛,芯片,速度,芯片,模型
...这个过程中，会运行带有四个输入token和四个输出token的序列；每种颜色代表一个不同的序列。同样的技巧，就可以扩展到2048个输入token和128个输出token的Llama-3-70B上。要让每个batch，都包含一个序列的2048个输入token，和127个不同...……更多
2024-06-27 09:25:00小哥,英伟,哈佛,华裔,推理,芯片
更多关于科技的资讯：
12月21日消息，微博话题“随手拍的照片竟然成了泄密源头”引发关注。据媒体报道，看似一张普通的照片往往包含着很多信息，稍有不慎就可能成为泄密源头
2024-12-21 18:02:00
快科技12月21日消息，2024年12月20日，联想在武汉产业基地举办了第15期新质媒体沙龙。作为与会媒体之一，快科技首次深入联想武汉产业基地
2024-12-21 18:02:00
快科技12月21日消息，苹果CEO库克在接受采访时表示，我们从来没有考虑过AI收费服务，AI就像是多点触控，它推动了智能手机的革命
2024-12-21 19:02:00
快科技12月21日消息，汽车之家近期公布了2024年冬季纯电车型能耗排行榜，引发了广泛关注。在低温区（5℃到15℃）的环境下
2024-12-21 19:02:00
中新经纬12月21日电 (龚宸芫)在中国电动汽车百人会(下称百人会)于20日举办的大军山·智能汽车科技大会上，东风公司
2024-12-21 19:05:00
随着科技的不断发展,智能降噪耳机已成为当下最受消费者关注的热门电子产品之一。未来两年,这一市场将迎来更多创新和突破,带来更加出色的用户体验
2024-12-21 19:37:00
快科技12月21日消息，今天是蔚来NIO Day以及10周年纪念日，何小鹏去了NIO Day现场，正值冬至，何小鹏给李斌送了汤圆
2024-12-21 20:02:00
快科技12月21日消息，今日晚间，蔚来NIO Day 2024在广州举行。在活动上，蔚来李斌宣布，截止12月15日，蔚来全球建成了2903座换电站
2024-12-21 20:32:00
快科技12月21日消息，昨日，《黑神话》在新闻联播中亮相，冯骥亲自演示了游戏并分享了未来的发展规划。细心的观众发现，冯骥在汇报时提到了一个宏伟的目标
2024-12-21 20:32:00
本文转自：人民网-湖南频道国网长沙供电公司自主研发的人工智能“光明”。受访单位供图人民网长沙12月21日电 “当前时间是22时50分
2024-12-21 20:42:00
中国蓝新闻 企业是创新的生力军，强化企业创新主体地位，是推动科技创新和产业创新深度融合，加快建设创新浙江的关键举措。眼下
2024-12-21 21:09:00
快科技12月21日消息，刚刚，蔚来旗舰车型ET9正式上市，该车整车购买为78.8万元起售，采用BaaS租电模式则为66万
2024-12-21 21:32:00
快科技12月21日消息，在今日的蔚来NIO Day 2024上，蔚来创始人、董事长、CEO李斌发表演讲，蔚来ET9正式亮相
2024-12-21 21:32:00
快科技12月21日消息，据“四川发布”微信公众号消息，四川推出“冬游四川”消费季系列活动。从今年12月到明年3月将开展5000场文旅活动
2024-12-21 21:32:00
颁奖典礼现场当虎钮錞于的一身青铜色变成了金色，一个既复古又满满都是时尚味道的智能音箱便出现在了大家面前；还有根据萌萌的青铜鸟形尊和此前圈粉无数的“小粉炉”打造的榫卯积木
2024-12-21 21:54:00