- 我的订阅
- 头条热搜
我们正处于一个信息大暴发的时代，每天都能产生数以百万计的新闻资讯！
虽然有大数据推荐，但面对海量数据，通过我们的调研发现，在一个小时的时间里，您通常无法真正有效地获取您感兴趣的资讯！
头条新闻资讯订阅，旨在帮助您收集感兴趣的资讯内容，并且在第一时间通知到您。可以有效节约您获取资讯的时间，避免错过一些关键信息。
...了更深的网络。主要差异总结如下：局部滑动窗口和全局注意力。研究团队在每隔一层中交替使用局部滑动窗口注意力和全局注意力。局部注意力层的滑动窗口大小设置为4096个token，而全局注意力层的跨度设置为8192个token。
Logit...……更多
2024-06-29 09:37:00诚意,经济,模型,训练,性能,注意力
...书要分成很多段，然后送去训练。由于大模型训练主要是注意力机制，即注意力参数的训练，只要两个东西相关，就可以发生一个关联。“这是在没有截断的前提下，如果把数据截成8K，第二个8k进来了以后，和第一个8K就没有直...……更多
2024-06-05 13:00:00高文,院士,实验室,模型,训练,实验
...人工神经元，替换成脉冲神经元。一些关键的操作比如自注意力算子等都被保留，从而让任务性能得到保障。这些早期工作为李国齐团队的工作带来了启发。但是，他们觉得这更像是一种人工神经网络/脉冲神经网络的异构。于...……更多
2024-03-18 10:41:00神经网络,脉冲,架构,科学家,模型,神经
...两个关键组件：跨模态感知的Token修剪器和模态自适应的注意力头修剪器。Token修剪器利用多层感知器（MLP）结构，智能地识别并去除那些对于当前层不重要的Token。这一过程不仅考虑了Token在文本或图像序列中的独立重要性，还...……更多
2024-05-17 13:00:00模态,算法,模型,联合,模态,模型
...自动驾驶模型的可解释性，该团队首次引入人类驾驶员的注意力机制。通过预测当前上下文中的驾驶员注意区域，他们将其作为一个掩码来调整原始图像的权重，从而使自动驾驶车辆能够像经验丰富的人类驾驶员一样，具备有效...……更多
2024-04-11 10:53:00驾驶,认知,科学家,模块,场景,人类
...注意到，过去有许多研究试图解决上述挑战，像是“扩展注意力窗口”，让语言模型能够处理超出预训练序列长度的长文本；或是建立一个固定大小的活动窗口，只关注最近token的键值状态，确保RAM使用率和解码速度保持稳定，...……更多
2023-10-07 00:12:00麻省理工学院,麻省,理工,框架,联合,学院
... token 的序列上对模型进行了训练，并使用掩码来确保自注意力不会跨越文档边界。2）训练数据Meta 表示，要训练出最佳的语言模型，最重要的是策划一个大型、高质量的训练数据集。据介绍，Llama 3 在超过 15T 的 token 上进行了预...……更多
2024-04-20 11:03:00模型,训练,参数,数据,全球,模型
...最新SOTA。这就是谷歌最新提出的 Infini-attention机制（无限注意力）。它能让Transformer架构大模型在有限的计算资源里处理无限长的输入，在内存大小上实现 114倍压缩比。什么概念？就是在内存大小不变的情况下，放进去114倍多的...……更多
2024-04-14 02:57:00大内,机制,上下文,模型,处理,上下
...现在预训练模型都是Transfomer，而Transfomer结构是嵌入层、注意力层、前反馈网络层，中间注意力层跟前反馈层都会经过N次迭代，整个运算又基本上是矩阵乘法。如果一个模型能在单个CPU上运算，那最省事了，但CPU的计算能力有限...……更多
2023-01-11 05:00:00清华,院士,高性能,人工智能,模型,智能
...述与生成图像之间的一致性2、在每个transformer层引入交叉注意力机制，从更精细的粒度控制图像生成，使得生成的图像更加精确地贴合文本。具体网络格式如下：归一化旋转位置编码（Normalized RoPE）对于next-scale prediction范式，如...……更多
2024-06-27 09:17:00范式,仅需,高质量,生成,模型,图像
...任务时，这种缺陷会带来挑战。2）其次，由于现有 MLLM 注意力机制的计算复杂度较高，微调 MLLMs 并使用它们生成机器人操作动作会产生更高的计算成本。为了平衡推理能力和效率，NLP 领域出现了几项研究。尤其是，Mamba 引入了...……更多
2024-06-21 09:52:00机器,模态,人多,机器人,推理,北大
...持续专注在零到一的创新点，通过并购及时实现退出，把注意力放在下一个创新上。活跃稳定的并购机制，对形成和保持纯粹聚焦的创新氛围，十分重要。 ……更多
2023-12-08 17:24:00清华大学,晨阳,清华,百业,院长,研究院
...、更加节能的新能源汽车。它去除了Transformer中高成本的注意力机制，代之以计算量更小、难度更低的线性计算，大大提高了建模效率和训练速度，效率翻倍的同时实现了成本的骤降。“两个方面看，一方面缩短客户的沟通时间...……更多
2024-01-29 06:31:00模型,机制,公司,模型,架构,岩芯
...可能导致令人窒息的监管，或者转移人们对更紧迫风险的注意力。”“这些模型正在改进，且改进是有用的。”Raji说，“但它们还没有接近意识。”（王方） ……更多
2023-12-29 07:44:00人工智能,人工,人类,智能,模型,研究
...文本构建意义的网络2017年，谷歌公司发表了一篇题为《注意力就是你所需的一切》的论文，提出了一种以自注意力机制为核心的神经网络架构Transformer。只要给定足够多的句子，Transformer就可学习句子中单词与单词之间的共生关...……更多
2024-02-24 05:43:00何方,模型,单词,视频,人工智能,人工
... 个 transformer 层（sheesh）， 每层都有一个解码器层：多头注意力块和密集块，键值大小 128。多头注意力块：48 个 head 用于查询，8 个用于键 / 值（KV）。KV 大小为 128。密集块（密集前馈块）：加宽因子 8，隐藏层大小 32768。每个 ...……更多
2024-03-18 11:51:00马斯,马斯克,权重,架构,模型,参数
...发布千亿级开源大模型“源2.0”。“源2.0”创新采用局部注意力过滤增强机制（LFA），可以有效捕捉局部信息和短依赖信息，使模型能够更精准地掌握上下文之间的强语义关联，学习人类语言习惯范式本质，大幅提升数理逻辑、...……更多
2023-12-04 03:07:00助推,落地,技术,模型,数据,浪潮信息
...团队如何加班加点，好让产品迭代面世，全世界大部分的注意力似乎都停留在一家公司，OpenAI。后发者的焦虑有目共睹。在2023年的最后一个月，“老大哥”谷歌熬不住了。12月6日，谷歌有史以来体量最大、功能最强的大模型Gemin...……更多
2023-12-20 00:10:00王者,抄袭,模型,万物,公司,数据
...ken)由2位专家处理，共64个处理层，用于处理查询的有48个注意力机制单元(attention heads)，用于处理键(key)/值(value)的有8个注意力机制单元，嵌入向量(embeddings)的维度为6,144，采用旋转式嵌入表示( RoPE) ，使用SentencePiece分……更多
2024-03-20 13:44:00马斯,马斯克,模型,全球,马斯,马斯克
...nAI制作的图像-文本模型，基于预训练GPT-2提出了一种新的注意力机制，来衔接不同模态之间的语义差异，无需大量图像-文本数据训练，就能提升文本生成效率。文本-视频模型生成主要代表作有Phenaki、Soundify。Phenaki 由谷歌打造...……更多
2023-01-30 16:34:00生成,模型,新论,代表作,盘点,进展
...调多种条件和训练方案生成多角度的逼真图像。它引入了注意力机制，通过修改自注意力层的关键（K）和值（V）矩阵，接受额外的条件图像，提高了生成图像的准确性。此外，Zero123++引入了一个可训练的线性引导机制（来自Flex...……更多
2023-10-30 15:31:00高通,三代,硅谷,模型,个人,模型
...这些嵌入通过投影块与文本标记对齐，投影块应用两个自注意力块将文本和视觉嵌入放在同一平面上。最后，投影块中的视觉标记就被添加到文本标记前面，并将联合表示传递给Llama 3。Llama3-V套壳实锤，或损害开源社区健康发展...……更多
2024-06-04 14:35:00清华,斯坦,斯坦福,团队,模型,抄袭
...21日，提出了Transformer架构、改写AI领域发展历程的论文《注意力就是你所需要的一切（Attention Is All You Need）》的作者们现身英伟达GTC大会，在名为Transforming AI（变革AI）的圆桌会议上与黄仁勋一起展开了同台讨论。除了因临时变...……更多
2024-03-21 21:12:00模型,对话,作者,资源,世界,模型
...领跑全球。当前，在文本大模型领域，OpenAI吸引了全球的注意力；但是在AI搜索、AI音乐生成等细分领域，中国玩家们正在奋勇前行，不断通过自研技术取得细分领域顶尖的SOTA表现，共同建设中国大模型产业，打造自主可控的大...……更多
2024-04-17 15:31:00天工,公测,模型,音乐,中国,天工
...2.0”系列大模型已有工作基础，创新提出和采用了“基于注意力机制的门控网络”技术，构建包含32个专家(Expert)的混合专家模型(MoE)，并大幅提升了模型算力效率，模型运行时激活参数为37亿，在业界主流基准评测中性能全面对...……更多
2024-06-03 14:07:00模型,效率,成本,模型,推理,成本
...面中运动的呈现更加合理，可灵大模型采用 3D 时空联合注意力机制，更好地建模复杂时空运动，即可生成较大幅度运动的视频内容，同时能够符合运动规律。
训练及优化策略如果你已经亲自测试过，就会发现可灵支持推理过程...……更多
2024-06-14 09:10:00快手,中国,生成,视频,模型,文生
...合，为观众带来了一种新颖的视听体验，能够吸引观众的注意力。“宁晓理”在“兰陵之声”理论宣讲员戴鑫烨宣讲后，给出的建议也很中肯。“我觉得‘宁晓理’太神了，哪几处磕绊、哪几处需要案例支撑，它都精准地提出来...……更多
2024-03-15 08:58:00指导,老师,专业,天宁,宣讲员,理论
...性能。金证K-GPT基于Transformer架构，其核心特点包括多头注意力机制和前馈神经网络层，这其中都包含大量矩阵运算，而英特尔®AMX通过1024位TMUL指令和8个独立的矩阵计算单元，可以每时钟周期执行8次独立的矩阵乘累加操作，为...……更多
2024-06-28 23:00:00巴菲,巴菲特,模型,故障,金融,技术
...Gil还提到，AI公司应该更关注专注于客户需求，而不是将注意力集中在模型构建上。
以下为本文目录，建议结合要点进行针对性阅读：Michael Mignano：你们都是聪慧老练的投资者，有预见到2023年AI投资领域会是这样吗？Sarah Guo：...……更多
2024-03-02 13:37:00硅谷,洞察,模型,顶级,需求,用户
...划在现有框架的基础上，尝试引入更先进的网络结构比如注意力机制等，以期进一步提升模型的性能和泛化能力。同时，他们还打算拓展模型的输入维度，纳入更多的地质参数和工程参数，从而适用于更加复杂多变的实际场景。...……更多
2024-04-08 10:16:00斯坦,斯坦福,地表,深度,模型,团队
更多关于科技的资讯：
锦江酒店（中国区）规模化出海再次迎来关键节点。10月31日，其于深圳正式宣布，国民品牌7天酒店将进军东南亚市场。这是继今年8月底
2025-11-01 10:02:00
10月28日，亚洲国际动力传动与控制技术展览会(PTC ASIA 2025)在上海新国际博览中心启幕。近1800家海内外知名展商齐聚
2025-11-01 07:03:00
2025年10月23日，在全国音频、视频及多媒体系统与设备标准化技术委员会（SAC/TC 242）商用显示标准研究组第六次全会暨标准研讨会上
2025-10-31 08:20:00
在北京举行的第21届中国国际煤炭采矿技术交流与设备展览会上，中感集团创新展示的“煤仓安全综合解决方案”引发行业高度关注
2025-10-31 08:51:00
2025中国国际数字经济博览会在石家庄国际会展中心开幕。科杰科技董事长于洋受邀出席2025首席数据官峰会论坛,并作主题为《人工智能产业决胜与 Data&
2025-10-31 08:51:00
■加快构建覆盖全域、经济适用、安全可靠的数字技术支撑体系，着力打通数据壁垒与业务断点，促进产业链各环节融通发展■建立功能完善
2025-10-31 09:05:00
在数字化、网络化、智能化的当下，图书馆的角色和功能正在发生深刻变化。究竟什么样的图书馆更“聪明”？近日，第五届长三角公共图书馆发展论坛在上海举行
2025-10-31 09:05:00
Mutual妙趣艺于2020年成立于美国加州，专注于文娱IP（知识产权）数字资产化领域。公司的核心定位是打造“数字资产领域的AWS”
2025-10-31 10:57:00
鲁网10月31日讯近日，“2025年第四届移动网络高质量发展论坛”在北京盛大启幕。在本次论坛上，工业和信息化部委托中国信通院权威发布了2024年“全国百城重点区域移动网络质量专项评测结果”
2025-10-31 11:43:00
人工智能（AI）是新一轮科技革命和产业变革的重要驱动力量，广西聚焦国家所需、广西所能、东盟所盼，正加快构建一条“北上广研发+广西集成+东盟应用”的特色发展路径
2025-10-31 11:46:00
上海，2025年10月 —— 备受瞩目的第32届世界企业高尔夫挑战赛（WCGC）全球总决赛于2025年10月19日至23日在上海东庄海岸高尔夫俱乐部隆重举行
2025-10-31 11:52:00
让检测全面拥抱AI！10月30日，科学指南针2025年度产品服务发布会在杭州举办，来自高校院所、企业、分析测试中心等多方行业代表到场参会
2025-10-31 11:52:00
曾几何时，钻石承载着“钻石恒久远，一颗永流传”的爱情神话，而天然钻石的稀缺性更被赋予了极高的市场价值。然而，随着实验室培育钻石技术的突破性进展
2025-10-31 12:14:00
在企业商旅管理从“费用管控”向“全流程智能管理”演进的关键时期，平台竞争力已不再局限于单一的预订功能，而是延伸至合规风控
2025-10-31 12:16:00
近期，《时代》周刊公布2025年度最佳发明榜单，揭示一个耐人寻味的现象：在300项突破性发明中，仅有4项被明确标注为3D打印创新
2025-10-31 12:19:00