- 我的订阅
- 头条热搜
我们正处于一个信息大暴发的时代，每天都能产生数以百万计的新闻资讯！
虽然有大数据推荐，但面对海量数据，通过我们的调研发现，在一个小时的时间里，您通常无法真正有效地获取您感兴趣的资讯！
头条新闻资讯订阅，旨在帮助您收集感兴趣的资讯内容，并且在第一时间通知到您。可以有效节约您获取资讯的时间，避免错过一些关键信息。
...团队如何加班加点，好让产品迭代面世，全世界大部分的注意力似乎都停留在一家公司，OpenAI。后发者的焦虑有目共睹。在2023年的最后一个月，“老大哥”谷歌熬不住了。12月6日，谷歌有史以来体量最大、功能最强的大模型Gemin...……更多
2023-12-20 00:10:00王者,抄袭,模型,万物,公司,数据
...并行，就先将卷积算子进行张量切分，然后把大模型中的注意力层和前馈层的矩阵计算权重，分别输入到多个处理器的内存中。如此一来，通用服务器中的4颗CPU便可同时获取算法权重，进行计算加速。不过，张量并行对模型参...……更多
2024-08-02 09:47:00大厂,模型,参数,疯狂,服务器,服务
...量，然后使用循环骨干网络。
研究者使用了带有多查询注意力的五层 transformer 骨干网络，输入的相机视频被切成小块，并由一个卷积层并行处理。然后，他们将这些 token 与同一时间步的本体感受观察的线性嵌入堆叠在一起。...……更多
2024-11-19 09:50:00从未,现实,机器,训练,环境,数据
...ken)由2位专家处理，共64个处理层，用于处理查询的有48个注意力机制单元(attention heads)，用于处理键(key)/值(value)的有8个注意力机制单元，嵌入向量(embeddings)的维度为6,144，采用旋转式嵌入表示( RoPE) ，使用SentencePiece分……更多
2024-03-20 13:44:00马斯,马斯克,模型,全球,马斯,马斯克
...，"B端市场为了提高效率、跟上时代步伐、吸引投资人的注意力，可能有一些是相对刚需的购买意愿。如真的能够切入某一类或者某一个领域，了解他们的需求，是有可能抢占市场先机的。" ……更多
2024-10-17 09:58:00李开复,模型,模型,李开复,万物,时间差
...nAI制作的图像-文本模型，基于预训练GPT-2提出了一种新的注意力机制，来衔接不同模态之间的语义差异，无需大量图像-文本数据训练，就能提升文本生成效率。文本-视频模型生成主要代表作有Phenaki、Soundify。Phenaki 由谷歌打造...……更多
2023-01-30 16:34:00生成,模型,新论,代表作,盘点,进展
...调多种条件和训练方案生成多角度的逼真图像。它引入了注意力机制，通过修改自注意力层的关键（K）和值（V）矩阵，接受额外的条件图像，提高了生成图像的准确性。此外，Zero123++引入了一个可训练的线性引导机制（来自Flex...……更多
2023-10-30 15:31:00高通,三代,硅谷,模型,个人,模型
...，该模型引入了创新的技术，使用了一种称为“分组查询注意力”（Group Query Attention，GQA）的技术。Aleph Alpha声称这提高了推理速度，且几乎没有牺牲质量。模型还采用了“旋转式位置编码”（Rotary Position Embedding，RoPE）的方法...……更多
2024-08-28 09:43:00博世,纯血,惠普,欧洲,德国,模型
...态 token 作为 Query，将模态特征作为 Key 和 Value 进行交叉注意力（Cross Attention）。该方法根据当前任务阶段的需求，将各模态的特征动态地整合到一个融合 token 中。最后，该融合 token 输入到策略网络（MLP）中预测下一个动作。我...……更多
2024-11-09 09:53:00胡迪,模态,感官,变性,机器人,团队
...视点的正弦嵌入传递给UNet中的卷积块，并在空间和视图注意力块中，使用输入视频进行交叉注意力条件设定。为了提高时间一致性，SV4D引入了一个额外的运动注意力块，并以第一帧的相应视图为交叉注意力条件。▲SV4D模型结构...……更多
2024-07-26 09:30:00视频,视频,模型,视图,生成,视角
...个实体类型。研究团队提出了两种聚合方法：加权和基于注意力的函数。在实验中，他们发现基于注意力的函数效果更好。具体而言，他们计算每个实体类型的注意力权重，并通过加权求和的方式获得最终的伪类型嵌入。接下来...……更多
2024-07-27 09:28:00图谱,人工,模型,自动化,方法,知识
...集上均表现优秀在推理速度方面，通义千问团队利用稀疏注意力机制将注意力部分的计算量压缩了约12.5倍，将处理1M tokens上下文时的首字返回时间从4.9分钟降低到68秒，实现了4.3倍的速度提升。Qwen2.5-Turbo推理速度可提升4.3倍Qwen2...……更多
2024-11-21 09:48:00百炼,阿里,上下文,模型,上下,支持
...。具体来说，它由两个基本模块构建，即2D卷积模块和2D注意力模块。通过插入时间层将2D UNet 扩展为3D变体，其中在2D卷积层之后插入1D时间卷积层，2D注意力层之后插入1D时间注意力层。模型可以通过图像和视频联合训练，在空...……更多
2024-09-26 13:41:00字节,火爆,再次,小时,论文,指令
...建模方法可以减少序列长度，缓解Transformer架构中不正确注意力机制导致的生成错误，从而在WER分数上得到提升。作者简介本文第一作者陈三元是哈尔滨工业大学和微软亚洲研究院的联合培养博士，他从2020年开始担任MSRA自然语...……更多
2024-07-25 09:34:00堪比,微软,配音,语音,模型,人类
...这些嵌入通过投影块与文本标记对齐，投影块应用两个自注意力块将文本和视觉嵌入放在同一平面上。最后，投影块中的视觉标记就被添加到文本标记前面，并将联合表示传递给Llama 3。Llama3-V套壳实锤，或损害开源社区健康发展...……更多
2024-06-04 14:35:00清华,斯坦,斯坦福,团队,模型,抄袭
...21日，提出了Transformer架构、改写AI领域发展历程的论文《注意力就是你所需要的一切（Attention Is All You Need）》的作者们现身英伟达GTC大会，在名为Transforming AI（变革AI）的圆桌会议上与黄仁勋一起展开了同台讨论。除了因临时变...……更多
2024-03-21 21:12:00模型,对话,作者,资源,世界,模型
...彻底改变了语言建模。Transformer 是一种神经网络，它使用注意力机制处理长期文本依赖关系。谷歌于 2017 年创建了第一个用于文本翻译的 Transformer 模型。Transformer 此后不断发展，改进了注意力机制和架构。发展到今天，OpenAI 发...……更多
2024-09-21 09:37:00能效,架构,工艺,硬件,加速器,能效
...询/键归一化，提高训练稳定性具有8个键值头的分组查询注意力（GQA），减少KV缓存的内存占用更高效的SwiGLU激活基础频率为500k的RoPE位置嵌入，支持长上下文适配器架构通过使用LoRA适配器，苹果的基础模型可以动态地根据当前...……更多
2024-08-01 09:40:00进化,模型,苹果,报告,技术,苹果
...领跑全球。当前，在文本大模型领域，OpenAI吸引了全球的注意力；但是在AI搜索、AI音乐生成等细分领域，中国玩家们正在奋勇前行，不断通过自研技术取得细分领域顶尖的SOTA表现，共同建设中国大模型产业，打造自主可控的大...……更多
2024-04-17 15:31:00天工,公测,模型,音乐,中国,天工
...第 个token 是噪声，否则该token是相关的。令表示LLM的原始注意力层。我们假设期望的自注意力函数为：对模型的微调可以表示为其中，ΔW 表示其余项。在这种情况下，如果我们需要, 我们需要对于所有的相关的token ，有因此，需...……更多
2024-10-23 13:34:00噪声,推理,性能,能力,数据,研究
...2.0”系列大模型已有工作基础，创新提出和采用了“基于注意力机制的门控网络”技术，构建包含32个专家(Expert)的混合专家模型(MoE)，并大幅提升了模型算力效率，模型运行时激活参数为37亿，在业界主流基准评测中性能全面对...……更多
2024-06-03 14:07:00模型,效率,成本,模型,推理,成本
...ansformer架构的深度神经网络算法，这种架构的算法通过自注意力机制处理数据，并考虑序列的不同部分或句子的整个上下文，从而生成对模型结果的预测。市面上先进的LLM通常包含了万亿级别的参数，参数越多，模型复杂度越高...……更多
2024-07-10 11:56:00灾难,革命,能源,能源,模型,人工智能
...面中运动的呈现更加合理，可灵大模型采用 3D 时空联合注意力机制，更好地建模复杂时空运动，即可生成较大幅度运动的视频内容，同时能够符合运动规律。
训练及优化策略如果你已经亲自测试过，就会发现可灵支持推理过程...……更多
2024-06-14 09:10:00快手,中国,生成,视频,模型,文生
...的核心在于将所有向量，包括嵌入、多层感知机（MLP）、注意力矩阵和隐藏状态，归一化为单位范数。这种归一化处理使得输入的token在超球面表面上移动，每一层模型都通过位移来贡献最终的输出预测。实验结果表明，nGPT在训...……更多
2024-10-20 15:52:00速度,训练,全新,模型,球面,上下文
...mma 1不同之处在于，Gemma 2每隔一层交替使用局部滑动窗口注意力和全局注意力机制，引入了分组查询注意力（GQA）以提高推理速度，相比Gemma 1也使用了更深的网络结构。Gemma 2关键模型参数如下：网友实测目前，用户还可在Hugging...……更多
2024-07-01 09:21:00二代,模型,开放,模型,性能,网友
... Time Image Decomposition (TID）：TID通过横轴和纵轴两个轴向的注意力机制，从每一个时序图中解耦季节-趋势，得到季节图和趋势图。3. Multi-Scale Mixing (MCM)：MCM负责将不同尺度上的季节图和趋势图分别进行混合，鉴于图的形式，论文...……更多
2024-10-30 09:58:00时序,架构,团队,领先,任务,升级
...流的VQA模型（如LLaVA-1.5）使用了具备单向（auto-regressive）注意力机制的语言模型（如Llama）。这种机制导致模型在提取图像特征时，无法提前获取提示词的完整信息。为了更有效的提取视觉特征，研究团队使用开源数据训练了一...……更多
2024-11-07 09:53:00文生,次数,联合,方案,模型,文生
...师的绘画技法。深入解读 ProcessPainter 的核心技术1. 时序注意力机制（Temporal Attention）用时序注意力学习生成绘画过程是 ProcessPainter 的核心创新。绘画序列生成的关键是，整个序列是同一张图从抽象到具体的变化过程， 前后帧在...……更多
2024-07-31 09:39:00绘画,过程,论文,绘画,过程,生成
...其中，Transformer 继承于 Phi3-mini 模型，图像内部改用双向注意力 (Bidirectional Attention) 以契合图像数据特性。整体架构如下所示：为实现强大的通用和泛化能力，研究人员需要基于大规模和多样化的数据集训练模型。然而，在图像...……更多
2024-10-30 09:53:00易用,架构,生成,模型,图像,高度
...Transformer架构之上，并做了一些设计优化，包括分组查询注意力（GQA）、SwiGLU激活函数等。研究人员在论文中解释道，Apple Intelligence由多个高性能生成模型组成，这些模型快速、高效、专门用于用户的日常任务，并且可以根据用...……更多
2024-07-31 09:37:00模型,苹果,模型,苹果,开发者,开发
更多关于科技的资讯：
9月17日，兴业银行信用卡中心与美团企业版在上海签署战略合作协议，共同打造“金融+生活”开放生态。根据协议，双方将基于开放共享
2025-09-24 07:24:00
金洽会上51个重点产业项目签约，计划投资802.21亿元——一串串数字，见证企业对南京的高度认可□南京日报/紫金山新闻记者张甜甜9月23日
2025-09-24 08:11:00
5项科技创新成果案例发布芯片设计迎“超强大脑”多癌早筛一管血“搞定”南报网讯（记者张安琪）9月23日，2025南京金洽会开幕式重点发布环节
2025-09-24 08:12:00
在今年国庆、中秋双节消费旺季来临之际，济南122站以“客户体验感”为核心，从“环境优化、商品管理、客户拓展”三大维度精准发力
2025-09-24 08:50:00
9月20日，在“苏超”镇江队与无锡队激烈对决的赛场内外，平安产险镇江中支开展了系列品牌推广与球迷服务活动，不仅为现场近三万观众送去清凉与惊喜
2025-09-24 10:55:00
当前，人工智能正以前所未有的深度与广度融入千行百业。智能家居行业也迎来关键转折——从单点智能走向全屋智慧，从“人控制设备”升级为“家主动为人服务”
2025-09-24 10:59:00
9月19日，海尔第九届人单合一模式引领论坛在北京举行。会上，海尔智家董事长兼总裁李华刚分享了海尔智慧家庭智能交互引擎的实践成果
2025-09-24 10:59:00
近日，2025数字化转型发展大会在北京举行。在大会应用征集评选活动中，中移齐鲁创新院共9项成果入选第四届“鼎新杯”数字化转型典型案例
2025-09-24 11:00:00
在数字经济与实体经济深度融合的浪潮下，海尔智家再次以“数字化转型”的创新实践站上全球舞台。9月23日，海尔智家位于泰国春武里的空调生产基地正式投产
2025-09-24 11:00:00
近日，《关于深入实施“人工智能+”行动的意见》(下称《意见》)正式发布，明确提出到2027年，实现人工智能与6大重点领域广泛深度融合
2025-09-24 11:22:00
9月23日，2025京东超市个护行业发展大会在北京举行，全国近400家知名个护品牌高管参会，共同探讨行业新趋势、新机遇
2025-09-24 11:37:00
中新经纬9月24日电 据路透社报道，因网络攻击，英国最大的汽车制造商捷豹路虎(Jaguar Land Rover)将停产期限延长至10月1日
2025-09-24 11:42:00
近日，因有网友发视频称麻六记酸辣粉连续开了四盒都发霉一事引发热议。据悉，此次并非麻六记第一次被曝出酸辣粉发霉。今年7月份
2025-09-24 11:43:00
9月21日清晨， 2025太原马拉松赛在五一广场鸣枪开跑，4万名跑者踏响“千年晋韵、锦绣太原”的赛道，在汾河之畔展开活力角逐
2025-09-24 11:46:00