• 我的订阅
  • 头条热搜
iPhone可跑2B小钢炮!谷歌Gemma 2来袭,最强显微镜剖解LLM大脑
【新智元导读】谷歌DeepMind的小模型核弹来了,Gemma 2 2B直接击败了参数大几个数量级的GPT-3.5和Mixtral 8x7B!而同时发布的Gemma Scope,如显微镜一般打破LLM黑箱,让我们看清Gemma 2是如何决策的。谷歌DeepMind的小模型,又上新了!就...……更多
...然图像是一个重要的里程碑。QST研究人员称,人类已使用显微镜和其他设备来观察肉眼看不见的世界,但还无法看到一个人的内心世界,这是人类第一次窥视另一个人头脑中的思想。从本质上讲,它可用来帮助创建新的通信设备...……更多
世界上第一项针对人工智能“大脑”的研究,剖析并编辑它的思想
...人员使用一种名为“字典学习”的技术,通过“稀疏自动编码器”,开始尝试将“神经元激活”的模式与人类熟悉的概念和想法相匹配。去年年底,他们在极小的“玩具”版本的语言模型上取得了一些成功,发现了模型在处理DNA...……更多
稀疏自编码器是如何工作的,这里有一份直观说明
...阵 → ReLU 激活 → 矩阵在解释机器学习模型方面,稀疏自编码器(SAE)是一种越来越常用的工具(虽然 SAE 在 1997 年左右就已经问世了)。机器学习模型和 LLM 正变得越来越强大、越来越有用,但它们仍旧是黑箱,我们并不理解...……更多
...任程和平院士介绍,团队通过自主研发的双侧扫描双光子显微镜,首次实现SCN区域近万颗神经元跨昼夜的钙成像。研究发现,SCN中以钙脉冲为基本单元,可形成从秒到小时到近日周期的跨尺度钙信号,展示出潜在的时间编码能力...……更多
零样本即可时空预测!港大、华南理工等发布时空大模型UrbanGPT | KDD 2024
...GPT是一种创新的时空大型语言模型,它通过结合时空依赖编码器和指令微调技术,展现出在多种城市任务中卓越的泛化能力和预测精度。这项技术突破了传统模型对大量标记数据的依赖,即使在数据稀缺的情况下也能提供准确的...……更多
谷歌开源最强端侧小模型:2B参数越级跑赢GPT-3.5-Turbo
...够了解 Gemma 2 模型的决策过程。Gemma Scope 就像一台强大的显微镜,它使用稀疏自编码器 (SAE) 放大模型的内部工作原理,使其更易于解释。Gemma Scope 技术报告:https://storage.googleapis.com/gemma-scope/gemma-sc……更多
轻量化模型架构catvton的优势在哪里
...著帮助的文本交叉注意力,同时也不需要任何额外的图像编码器来辅助生成。 下表详细地比较了不同方法与CatVTON的模块数量、参数量、可训练参数量、显存占用、推理条件。在网络模块上,CatVTON只需要VAE+UNet,无需任何额外的...……更多
OpenCity大模型预测交通路况,零样本下表现出色,来自港大百度
...律性。 动态交通模式:除了周期性变化外,作者的时间编码器还捕捉交通数据随时间演变的复杂、非线性时态动态和趋势。周期性交通转换建模作者利用时间嵌入D和空间嵌入C捕获交通中的周期性模式,目标是揭示历史交通模式...……更多
微美全息(NASDAQ:WIMI)将迁移学习引入到语义分割模型,实现高质量的语义分割任务
...器进行微调。在语义分割中,可以将已经训练好的模型的编码器部分用于新任务,然后在新任务上训练新的解码器,并帮助利用已有的大规模标注数据集来训练模型,从而减少对新数据集的标注需求,提高模型性能。WIMI微美全...……更多
苹果的封闭生态为大模型打开!发布开源多模态大模型、每天为 AI 烧百万美元,零碎的 Android 生态打得过吗?
...型架构根据介绍,Ferret 主要由用于提取图像嵌入的图像编码器;用于提取区域连续特征的空间感知视觉采样器;以及用于对图像、文本和区域特征进行联合建模的大语言模型组成。输入将图像输入经过预训练的视觉编码器 CLIP-Vi...……更多
英国ai初创公司wayve公布gaia-1最新进展
...汽车上路时的安全性和效率。据悉,GAIA-1会先运用专门的编码器,将影片或文字等各种形式的输入,编码成一个共享的表示形式,进而在模型中实现统一的时序对齐和上下文理解,这种编码方法,让模型能够更好地整合和理解不...……更多
扩散模型也能搞定社交信息推荐,港大数据智能实验室提出RecDiff
...及去噪效果方面均表现出色。研究方法基于图协同过滤的编码器受到简化图神经网络(GNN)成功应用的启发,图那对在社交去噪框架中采用了轻量级图卷积网络(GCN)作为图编码器。 图关系去噪模型隐空间的社交扩散汲取扩散...……更多
清华提出时间序列大模型:面向通用时序分析的生成式Transformer
...间序列的大模型(Large Time Series Model, LTSM)。模型采用仅编码器(Decoder-only)结构,基于多领域时间序列进行大规模预训练,通过微调突破了少样本场景下的性能瓶颈,适配不同输入输出长度的时间序列,以及预测,填补,异常...……更多
AI也会「刷抖音」!清华领衔发布短视频全模态理解新模型 | ICML 2024
...一部分:音视频编码和时间对齐video- SALMONN使用Whisper语音编码器和BEATs音频编码器,分别得到语音和音频的编码向量序列(每1秒音频对应50个向量),同时使用InstructBLIP视觉编码器,以2 FPS的视频采样率得到视觉编码向量序列(...……更多
...智能柔性关节领域不断钻研,通过将电机、驱动器,以及编码器整合到一起,并不断优化电机与算法,配合机器人“大脑”,一步步拓展更丰富的功能和应用场景。智能柔性关节让服务机器人在各类场景里更加实用,而把它们的...……更多
【玖越机器人】堆叠降噪自动编码器(SDAE)
自动编码器(Auto-Encoder,AE)自编码器(autoencoder)是神经网络的一种,经过训练后能尝试将输入复制到输出。自编码器内部有一个隐藏层 h,可以产生编码(code)表示输入。该网络可以看作由两部分组成:一个由函数 h = f(x) 表...……更多
科学家揭示大脑神秘新机制:尝试解释海马体如何映射外部世界
...研究。比如,在攻读博士期间,周宁常常借助双光子荧光显微镜技术,对那些被荧光指示剂标记的脑片组织进行成像记录。她经常观察到活脑片细胞中的钙离子荧光强度随着脑细胞的活动变化而忽明忽暗,此起彼伏、如同遥远星...……更多
...多变的行业5G网络环境,如钢铁现场、煤矿作业。基于自编码器的物理层安全传输技术能够进行针对性安全编码设计,通过机器学习算法完成信道模型的自动建模和编码,实现数据驱动的自动化编译码、最大化通信保密速率。面...……更多
MSRA:视觉生成六大技术问题
...进行了梳理,他认为视觉信号拆分是最本质的问题。生成模型的目标是拟合目标数据分布,然而,目标数据分布过于复杂,难以直接拟合。因此,往往需要将复杂的信号做拆分,拆分成多个简单的分布拟合问题,再分别求解。信...……更多
智谱AI发布视频生成大模型,B站参与研发,亦庄提供算力|甲子光年
...决内容连贯性的问题,智谱自研了一个高效的三维变分自编码器结构(3D VAE),将原视频空间压缩至2%大小,以此减少视频扩散生成模型的训练成本及训练难度。模型结构方面,智谱采用因果三维卷积(Causal 3D convolution)为主要...……更多
比Stable Diffusion便宜118倍!1890美元训出11.6亿参数高质量文生图模型
...。模型前端使用Stable-Diffusion-XL模型中的四通道变分自动编码器(VAE)来提取图像特征,另外还测试了最新的16通道VAE在大规模训练(省钱版)中的性能。 作者使用EDM框架作为所有扩散模型的统一训练设置,使用FID以及CLIP分数来...……更多
北大推出全新机器人多模态大模型!面向通用和机器人场景的高效推理和操作
...予机器人端到端的推理和操纵能力,本文创新性地将视觉编码器与高效的状态空间语言模型集成,构建了全新的 RoboMamba 多模态大模型,使其具备视觉常识任务和机器人相关任务的推理能力,并都取得了先进的性能表现。同时,...……更多
迎战GPT-4V!谷歌PaLI-3视觉语言模型问世,更小、更快、更强
...,大型视觉语言模型在其更大的模型中使用预训练的图像编码器,其中一些使用监督分类进行预训练(如PaLI,PaLI-X,Flamingo,PaLM-E),一些使用预训练的CLIP编码器(如BLIPv2,CrossTVR,ChatBridge,还有一些使用自定义多模态预训练...……更多
天工开物 智破难关
...与人类不一样,人形机器人的关节里藏着电机、减速器、编码器、控制器四大关键零部件:电机能让关节动起来,同时借助减速器控制转速;编码器用来记录运动的位置,控制器则让关节精准发力。 原理看起来简单,但把这些...……更多
智谱AI杀入视频生成:「清影」上线,时长6秒,免费不限量
...了解决这些问题,智谱 AI 自研了一个高效的三维变分自编码器结构(3D VAE),可以将原视频空间极致压缩到 2%,使得模型训练成本大幅下降,训练难度也大大降低。模型结构采用因果三维卷积(Causal 3D convolution)为主要模型组...……更多
火爆全球的AI音频大模型,最新技术细节揭秘
...练数据的采用和部分架构上采取了调整,关键架构由自动编码器、基于T5的文本嵌入以及扩散模型(DiT)构成。论文地址:https://arxiv.org/html/2407.14358v1一、3个关键架构提供支持,免费生成44.1kHz高质量立体声短音频Stable Audio Open引...……更多
海贝R3二代掌中Hi-Fi巨兽,颠覆你的听觉体验!
...更以其多样化的功能和出色的便携性,成为了新一代掌心小钢炮。如果你也是一位热爱音乐的朋友,不妨考虑一下这款播放器,相信它会给你带来不一样的音乐体验。 ……更多
科学家提出大模型分子交互学习框架,已在400多万分子对中验证
...模态大语言模型分子交互学习框架——MolTC。通过利用图编码器(Encoder)和映射器(Projector),MolTC 可以高效地建模分子图信息。此外,为了加强数据间的信息共享,以及实现统一的分子交互学习,课题组提出了多层级思维链(...……更多
杨幂+小兰会是什么样?中山大学新AI成果,实现人脸个性化SOTA
...取器这一模块中,使用了包括文本嵌入、面部嵌入和面部编码器这三个关键组件。需要独立学习细粒度的面部视觉和文本嵌入,并将它们输入到设计的轻量级面部编码器中,以生成细粒度的多模态面部特征。△用于生成细粒度多...……更多
更多关于科技的资讯:
省数据和政务服务局发布公告公开征集一批河北省高质量数据集河北日报讯(记者解楚楚)9月26日,河北省数据和政务服务局发布公告
2025-10-04 08:03:00
央媒看太原9月30日,央视财经频道《经济信息联播》栏目以《双节市场备货足美食特产受青睐》为题,报道了假期到来,太原市各大综合市场提前备货
2025-10-04 07:17:00
厦门网讯(厦门日报记者 朱道衡)近日,2025鼓浪屿世遗文创作品征集活动启动。此次活动面向全国(含港澳台地区)高校、企业
2025-10-03 08:37:00
厦门网讯(厦门日报记者 楚燕 通讯员 石青青)长假期间,许多人从忙碌的工作中解脱出来,趁机好好休息。可是,如果休息方式不得当
2025-10-03 08:37:00
渤海之潮涌动着澎湃的脉搏,海河之畔镌刻着科技的印记。10年前,一颗带有“清华”基因的种子在天津这片沃土扎根;10年后,它长成一棵枝繁叶茂的参天大树
2025-10-03 09:25:00
太燃了!无人机空中展旗!高新区国庆“氛围组”已上线!
2025-10-03 23:48:00
抖音生活服务联合北京卫视发起“老板驾到”直播活动,吸引用户下单超100万元团购券
9月29日,抖音生活服务联合北京卫视发起“老板驾到”直播活动,助力北京国庆中秋消费。抖音用户在@北京卫视 直播间下单超1万次
2025-10-03 18:36:00
“FutureBOT未来引力”2025北京机器人文化节首日盛况 打造国庆科技打卡新地标
国庆首日,“FutureBOT未来引力”2025北京机器人文化节在北京昌平超极合生汇正式拉开帷幕,成为国庆假期极具科技温度的打卡地
2025-10-03 19:06:00
走到白石山巅的尽头,这家建在悬崖边的“云端咖啡厅”绝对让你惊呼。
2025-10-03 11:37:00
泰康人寿发布新品“泰康百万药无忧(庆典版)医疗保险”(以下‬简称“百万药无忧”),以广覆盖、易投保、强保障、低费率为优势
2025-10-03 09:17:00
厦门网讯(厦门日报记者 翁华鸿 通讯员 林雨新)在近日举行的2025全球数据管理峰会“数据要素分论坛暨大数据统计与人工智能技术创新管理研讨会”上
2025-10-03 08:38:00
兴趣-实践-视野:达芬奇金奖少年带来的教育启示录
摘要:2025“你是达芬奇”全球青少年科学与艺术创新赛圆满落幕,其中金奖获奖少年的亲身实践告诉我们,在AI赋能的新时代
2025-10-02 16:22:00
单日调用近1万亿次,高德助力北斗规模化民用跨入新量级
2025年10月1日,随着国庆长假首日出行高峰的到来,高德基于北斗卫星导航系统的定位数量接近1万亿次,支撑导航总里程数超90亿公里
2025-10-02 22:31:00
10月1日,从太钢获悉,今年以来,太钢不锈进料加工团队以“精准备案、高效协同”为核心,在进料铬铁镍铁资源利用方面取得突破性进展
2025-10-02 17:39:00
厦门网讯(厦门日报记者 林露虹)记者昨日从中国移动咪咕公司获悉,该公司打造的“鼓浪屿AI伴游”服务已正式上线。市民和游客只需打开“鼓浪屿元宇宙”微信小程序
2025-10-02 08:57:00