- 我的订阅
- 头条热搜
我们正处于一个信息大暴发的时代，每天都能产生数以百万计的新闻资讯！
虽然有大数据推荐，但面对海量数据，通过我们的调研发现，在一个小时的时间里，您通常无法真正有效地获取您感兴趣的资讯！
头条新闻资讯订阅，旨在帮助您收集感兴趣的资讯内容，并且在第一时间通知到您。可以有效节约您获取资讯的时间，避免错过一些关键信息。
【新智元导读】谷歌DeepMind的小模型核弹来了，Gemma 2 2B直接击败了参数大几个数量级的GPT-3.5和Mixtral 8x7B！而同时发布的Gemma Scope，如显微镜一般打破LLM黑箱，让我们看清Gemma 2是如何决策的。谷歌DeepMind的小模型，又上新了！就...……更多
2024-08-02 09:55:00小钢炮,显微镜,大脑,模型,编码器,特征
...然图像是一个重要的里程碑。QST研究人员称，人类已使用显微镜和其他设备来观察肉眼看不见的世界，但还无法看到一个人的内心世界，这是人类第一次窥视另一个人头脑中的思想。从本质上讲，它可用来帮助创建新的通信设备...……更多
2024-01-10 02:47:00机器,人类,时代,大脑,解码器,研究
...人员使用一种名为“字典学习”的技术，通过“稀疏自动编码器”，开始尝试将“神经元激活”的模式与人类熟悉的概念和想法相匹配。去年年底，他们在极小的“玩具”版本的语言模型上取得了一些成功，发现了模型在处理DNA...……更多
2024-06-19 09:21:00人工智能,剖析,人工,大脑,思想,智能
...解大型语言模型如何工作方面取得了突破性进展：稀疏自编码器（SAE）在其激活空间中发现了大量可解释为概念的点（「特征」）。最近，此类 SAE 点云已公开发布，因此研究其在不同尺度上的结构正当其时。最近，来自 MIT 的...……更多
2024-11-04 09:52:00长出,几何,大脑,特征,结构,研究
...阵 → ReLU 激活 → 矩阵在解释机器学习模型方面，稀疏自编码器（SAE）是一种越来越常用的工具（虽然 SAE 在 1997 年左右就已经问世了）。机器学习模型和 LLM 正变得越来越强大、越来越有用，但它们仍旧是黑箱，我们并不理解...……更多
2024-08-06 09:27:00编码器,直观,编码,工作,向量,编码器
...究表示了认可：「我们知道，当使用自监督学习训练视觉编码器时，使用具有重构损失的解码器的效果远不如使用具有特征预测损失和崩溃预防机制的联合嵌入架构。这篇来自纽约大学 @sainingxie 的论文表明，即使你只对生成像...……更多
2024-10-15 09:57:00模型,训练,方法,模型,训练,视觉
...任程和平院士介绍，团队通过自主研发的双侧扫描双光子显微镜，首次实现SCN区域近万颗神经元跨昼夜的钙成像。研究发现，SCN中以钙脉冲为基本单元，可形成从秒到小时到近日周期的跨尺度钙信号，展示出潜在的时间编码能力...……更多
2024-04-17 19:12:00哺乳,奥秘,科学家,动物,我国,科学
...纽约大学的Yann LeCun的转发。当使用自监督学习训练视觉编码器时，我们知道一个事实，使用具有重建损失（reconstruction loss）的解码器的效果远远不如具有特征预测损失（feature prediction loss）和崩溃预防机制的联合嵌入架构。 这...……更多
2024-10-23 09:55:00新作,速度,训练,学习,模型,训练
...GPT是一种创新的时空大型语言模型，它通过结合时空依赖编码器和指令微调技术，展现出在多种城市任务中卓越的泛化能力和预测精度。这项技术突破了传统模型对大量标记数据的依赖，即使在数据稀缺的情况下也能提供准确的...……更多
2024-08-01 09:40:00时空,华南,样本,理工,模型,时空
...够了解 Gemma 2 模型的决策过程。Gemma Scope 就像一台强大的显微镜，它使用稀疏自编码器 (SAE) 放大模型的内部工作原理，使其更易于解释。Gemma Scope 技术报告：https://storage.googleapis.com/gemma-scope/gemma-sc……更多
2024-08-02 09:43:00模型,参数,模型,性能,安全,研究
...预训练的视觉表征重要吗？该团队使用不同的预训练通用编码器作为世界模型的观察模型，并评估了它们的下游规划性能。
在涉及简单动态和控制的 PointMaze 任务中，该团队观察到具有不同观察编码器的世界模型都实现了近乎...……更多
2024-11-19 09:48:00样本,模型,特征,视觉,训练,规划
...著帮助的文本交叉注意力，同时也不需要任何额外的图像编码器来辅助生成。
下表详细地比较了不同方法与CatVTON的模块数量、参数量、可训练参数量、显存占用、推理条件。在网络模块上，CatVTON只需要VAE+UNet，无需任何额外的...……更多
2024-08-01 08:52:00架构,模型,优势,模型,训练,模块
...长图形设计。与传统依赖于预训练语言模型如T5或CLIP文本编码器的文本到图像生成模型不同，PGv3完全集成了大型语言模型（LLMs），基于全新的深度融合（Deep-Fusion）架构，利用仅解码器（decoder-only）大型语言模型的知识，来进...……更多
2024-10-08 09:48:00文生,图形设计,深度,图形,人类,参数
...练过程就是基本的「预测下一个词」，不过「词」是通过编码器从语音或文本中提取的，然后通过解码器以原来的模态进行重新呈现；训练数据包括三种：仅包含文本的序列、仅包含语音的序列以及交错的语音-文本序列的混合...……更多
2024-11-23 09:43:00音频,模态,重磅,文本,任务,情感
...离与重建的过程中实现语音特征解耦。如图3所示，包括编码器（Encoder）、多层残差向量量化器（Residual Vector Quantizers, RVQs）、解码器（Decoder）、鉴别器（Discriminator）四个核心部分。其中，RVQs主要包括级联的八层量化器，在第...……更多
2024-09-27 13:40:00多语,多语种,万条,清华,隐私保护,框架
...律性。
动态交通模式：除了周期性变化外，作者的时间编码器还捕捉交通数据随时间演变的复杂、非线性时态动态和趋势。周期性交通转换建模作者利用时间嵌入D和空间嵌入C捕获交通中的周期性模式，目标是揭示历史交通模式...……更多
2024-09-02 13:34:00路况,样本,模型,交通,交通,模型
...础模型 UniTraj在模型的架构设计上，UniTraj 采用了灵活的编码器 - 解码器架构，为了提升模型的计算效率、鲁棒性和对各种数据质量的适应能力，作者在模型训练过程中进一步集成了一系列的重采样策略和掩码策略。重采样策略...……更多
2024-11-23 09:42:00轨迹,模型,驱动,基础,全球,轨迹
...型架构根据介绍，Ferret 主要由用于提取图像嵌入的图像编码器；用于提取区域连续特征的空间感知视觉采样器；以及用于对图像、文本和区域特征进行联合建模的大语言模型组成。输入将图像输入经过预训练的视觉编码器 CLIP-Vi...……更多
2023-12-26 14:06:00模型,生态,模态,零碎,苹果,模型
...器进行微调。在语义分割中，可以将已经训练好的模型的编码器部分用于新任务，然后在新任务上训练新的解码器，并帮助利用已有的大规模标注数据集来训练模型，从而减少对新数据集的标注需求，提高模型性能。WIMI微美全...……更多
2023-11-15 01:02:00语义,全息,高质量,模型,任务,学习
...算机视觉？研究人员形象地把深度计算机视觉比作\"数字显微镜\"。它不仅能\"看\"到人眼难以分辨的细节,更重要的是能自动学习和理解看到的内容。就像一个经验丰富的天文学家,AI系统能够:1. 自动特征学习: 不需要人工定义\"太...……更多
2024-10-29 16:30:00成科,硅谷,来信,大脑,认证,太阳
...性（similarity）时，传统指标LPIPS等方法依靠预训练的图像编码器，将图像特征嵌入后再计算距离。然而，这类方法只能评估图像与图像之间的相似度（image-to-image metric），而无法判断文本和图像之间的相似度（text-to-image metric）...……更多
2024-11-07 09:53:00文生,次数,联合,方案,模型,文生
...如图 2 所示）：特征提取模块：该模块包含一系列单模态编码器，每个编码器都接受一段简短的单模态观测历史作为输入，并将它们编码为特征。
状态编码器：该模块旨在将各模态特征和动作历史序列编码为表示当前任务状态...……更多
2024-11-09 09:53:00胡迪,模态,感官,变性,机器人,团队
...进行微调，增强文本特征更具区分力，进而作为 CLIP 视觉编码器的强力 「教师」。这种设计让 LLM 中的文本理解力被有效提取，CLIP 在各种跨模态任务中获得显著性能提升。实验结果表明，LLM2CLIP 甚至能在不增加大规模训练数据...……更多
2024-11-28 09:59:00模态,教会,文本,升级,数据,模态
...汽车上路时的安全性和效率。据悉，GAIA-1会先运用专门的编码器，将影片或文字等各种形式的输入，编码成一个共享的表示形式，进而在模型中实现统一的时序对齐和上下文理解，这种编码方法，让模型能够更好地整合和理解不...……更多
2023-10-10 11:51:00英国,进展,公司,模型,驾驶,生成
...个表示空间中进行预测。两个嵌入将被破坏的版本X送入编码器，将Y送入编码器，然后训练系统从X的表示中预测Y的表示。那么如何做到这一点呢？如果单纯使用梯度下降和反向传播这样的方法来训练系统，以减少预测误差，那...……更多
2024-10-18 09:42:00模型,人类,水平,语言,系统,模型
...这也就是所谓的 token 化。」图像的 token 化通常需要一个编码器 ENC、一个量化算法 QUANT 和一个解码器 DEC。目前，主流的图像 token 化方案有两种：VQGAN 和 BAE；它们的主要区别是离散化隐向量的方式 。经过 token 化处理之后，图像...……更多
2024-11-27 13:32:00潜力,模型,图像,起点,领域,还是
...及去噪效果方面均表现出色。研究方法基于图协同过滤的编码器受到简化图神经网络（GNN）成功应用的启发，图那对在社交去噪框架中采用了轻量级图卷积网络（GCN）作为图编码器。
图关系去噪模型隐空间的社交扩散汲取扩散...……更多
2024-07-30 09:31:00社交,实验室,模型,实验,智能,数据
... Seamless Speech Interaction with Large Language ModelsLLaMA-Omni 由语音编码器、语音适配器、LLM 和流式语音解码器组成。用户的语音指令由语音编码器进行编码，经过语音适配器后输入到 LLM。LLM 直接从语音指令中解码文本响应，……更多
2024-09-24 13:42:00团队,训练,这是,研究,语音,文本
...器和内存模块的多次处理上。然而，这些模块相较于图像编码器来说非常轻量。例如，SAM 2-Large 的图像编码器包含 212M 个参数，而模型其余的参数只有 12M，大约仅占模型的 5%。因为 SAM2Long 也只需要处理一次图像编码器，所以内...……更多
2024-11-06 09:43:00上海,中文,训练,路径,内存,视频
...间序列的大模型（Large Time Series Model, LTSM）。模型采用仅编码器（Decoder-only）结构，基于多领域时间序列进行大规模预训练，通过微调突破了少样本场景下的性能瓶颈，适配不同输入输出长度的时间序列，以及预测，填补，异常...……更多
2024-07-22 09:44:00时间序列,时序,清华,序列,生成,模型
更多关于科技的资讯：
作者：叶榆北数据：叶榆北 乐乐传说中，大厂转行出路有三件套：保安、保洁、保险。如果前两者是过于夸张的戏谑调侃，毕竟尊严是每个大厂毕业中年人的最后一根稻草
2025-01-27 03:15:00
快科技1月26日消息，据媒体报道，日前，微软创始人比尔·盖茨接受采访，分享他即将出版的个人回忆录《源代码：我的开始》。他在采访中还自曝
2025-01-26 23:06:00
快科技1月26日消息，今晚，中国棋手柯洁在抖音开播，回应LG杯决赛争议时一度落泪。柯洁表示，自己吃不下东西，还在继续维权
2025-01-26 23:36:00
快科技1月26日消息，1月25日，广东东莞麻涌赛车场发生一起女骑手逆行被撞的事故（本站已有报道），导致两人受伤，然而后面的聊天记录一经披露
2025-01-26 23:36:00
齐鲁晚报·齐鲁壹点 李可 通讯员 殷海奎郓城农商银行为持续加大金融业务宣传力度，有效推进首季度相关工作，该行积极践行多元策略
2025-01-26 19:53:00
近年来，“代理退保”黑中介的活动猖獗，严重扰乱金融保险市场的正常运行秩序。非法中介打着“为消费者退保维权”的旗号，博取消费者的信任
2025-01-26 20:24:00
文化旅游遇到数字技术，会摩擦出怎样的“火花”？借助VR、AR技术，三星堆的青铜面具能“开口诉说”古蜀故事，故宫的红墙黄瓦在虚拟场景里重现昔日繁华
2025-01-26 20:34:00
快科技1月26日消息，被认为是动力电池最终解决方案的固态电池有了新进展，近期，我国科学家在该方面取得了新的突破。北京大学的庞全全团队开发了一种新型电解质材料
2025-01-26 20:36:00
齐鲁晚报·齐鲁壹点 陈朕 赵长春 张雅楠在辞旧迎新的美好时刻，备受瞩目的2025端上春晚于1月26日盛大播出。作为一年一度的文化重头戏
2025-01-26 20:58:00
本文转自：人民网-江苏频道江楠傅军委为客户安装新空调。人民网 江楠摄“客户昨天下单，旧机已拆，抓紧安排新机装配。” 1月23日上午
2025-01-26 21:34:00
快科技1月26日消息，宝骏的车换上雪佛兰的标出口的第三世界市场，并不是件稀奇的事，而且这种情况已经第三次发生了。近日，GM Authority披露了雪佛兰将在海外市场推出的全新车型“Spark”的实车图
2025-01-26 22:06:00
快科技1月26日消息，今晚，蔚来法务部发布“关于打击黑公关和网络水军的声明”，提到近期网上再次出现一系列针对蔚来公司及旗下蔚来和乐道品牌的有组织大规模恶意攻击
2025-01-26 22:36:00
快科技1月26日消息，近日，宝马首席开发官Frank Webber在接受采访时发表了对车载屏幕的看法。其认为宝马iDrive X的屏幕已经足够大
2025-01-26 22:36:00
齐鲁晚报·齐鲁壹点 赵旭 高艳蕊1月24日，正值岁末年初的交接之时，滨州市商务局携手四家相关部门共同揭晓了《滨州市手机
2025-01-26 20:59:00
近日，随着商务部等五部门联合印发的《手机、平板、智能手表（手环）购新补贴实施方案》正式落地，1月21日山东省商务厅等5部门印发了《山东省手机
2025-01-26 22:18:00