• 我的订阅
  • 头条热搜
iPhone可跑2B小钢炮!谷歌Gemma 2来袭,最强显微镜剖解LLM大脑
【新智元导读】谷歌DeepMind的小模型核弹来了,Gemma 2 2B直接击败了参数大几个数量级的GPT-3.5和Mixtral 8x7B!而同时发布的Gemma Scope,如显微镜一般打破LLM黑箱,让我们看清Gemma 2是如何决策的。谷歌DeepMind的小模型,又上新了!就...……更多
...然图像是一个重要的里程碑。QST研究人员称,人类已使用显微镜和其他设备来观察肉眼看不见的世界,但还无法看到一个人的内心世界,这是人类第一次窥视另一个人头脑中的思想。从本质上讲,它可用来帮助创建新的通信设备...……更多
世界上第一项针对人工智能“大脑”的研究,剖析并编辑它的思想
...人员使用一种名为“字典学习”的技术,通过“稀疏自动编码器”,开始尝试将“神经元激活”的模式与人类熟悉的概念和想法相匹配。去年年底,他们在极小的“玩具”版本的语言模型上取得了一些成功,发现了模型在处理DNA...……更多
稀疏自编码器是如何工作的,这里有一份直观说明
...阵 → ReLU 激活 → 矩阵在解释机器学习模型方面,稀疏自编码器(SAE)是一种越来越常用的工具(虽然 SAE 在 1997 年左右就已经问世了)。机器学习模型和 LLM 正变得越来越强大、越来越有用,但它们仍旧是黑箱,我们并不理解...……更多
扩散模型训练方法一直错了!谢赛宁:Representation matters
...究表示了认可:「我们知道,当使用自监督学习训练视觉编码器时,使用具有重构损失的解码器的效果远不如使用具有特征预测损失和崩溃预防机制的联合嵌入架构。这篇来自纽约大学 @sainingxie 的论文表明,即使你只对生成像...……更多
...任程和平院士介绍,团队通过自主研发的双侧扫描双光子显微镜,首次实现SCN区域近万颗神经元跨昼夜的钙成像。研究发现,SCN中以钙脉冲为基本单元,可形成从秒到小时到近日周期的跨尺度钙信号,展示出潜在的时间编码能力...……更多
零样本即可时空预测!港大、华南理工等发布时空大模型UrbanGPT | KDD 2024
...GPT是一种创新的时空大型语言模型,它通过结合时空依赖编码器和指令微调技术,展现出在多种城市任务中卓越的泛化能力和预测精度。这项技术突破了传统模型对大量标记数据的依赖,即使在数据稀缺的情况下也能提供准确的...……更多
谷歌开源最强端侧小模型:2B参数越级跑赢GPT-3.5-Turbo
...够了解 Gemma 2 模型的决策过程。Gemma Scope 就像一台强大的显微镜,它使用稀疏自编码器 (SAE) 放大模型的内部工作原理,使其更易于解释。Gemma Scope 技术报告:https://storage.googleapis.com/gemma-scope/gemma-sc……更多
轻量化模型架构catvton的优势在哪里
...著帮助的文本交叉注意力,同时也不需要任何额外的图像编码器来辅助生成。 下表详细地比较了不同方法与CatVTON的模块数量、参数量、可训练参数量、显存占用、推理条件。在网络模块上,CatVTON只需要VAE+UNet,无需任何额外的...……更多
文生图参数量升至240亿!Playground v3发布:深度融合LLM,图形设计能力超越人类
...长图形设计。与传统依赖于预训练语言模型如T5或CLIP文本编码器的文本到图像生成模型不同,PGv3完全集成了大型语言模型(LLMs),基于全新的深度融合(Deep-Fusion)架构,利用仅解码器(decoder-only)大型语言模型的知识,来进...……更多
150万条多语种音频数据!浙大清华发布语音伪造检测框架SafeEar,兼顾隐私保护|CCS 2024
...离与重建的过程中实现语音特征解耦。如图3所示,包括编码器(Encoder)、多层残差向量量化器(Residual Vector Quantizers, RVQs)、解码器(Decoder)、鉴别器(Discriminator)四个核心部分。其中,RVQs主要包括级联的八层量化器,在第...……更多
OpenCity大模型预测交通路况,零样本下表现出色,来自港大百度
...律性。 动态交通模式:除了周期性变化外,作者的时间编码器还捕捉交通数据随时间演变的复杂、非线性时态动态和趋势。周期性交通转换建模作者利用时间嵌入D和空间嵌入C捕获交通中的周期性模式,目标是揭示历史交通模式...……更多
微美全息(NASDAQ:WIMI)将迁移学习引入到语义分割模型,实现高质量的语义分割任务
...器进行微调。在语义分割中,可以将已经训练好的模型的编码器部分用于新任务,然后在新任务上训练新的解码器,并帮助利用已有的大规模标注数据集来训练模型,从而减少对新数据集的标注需求,提高模型性能。WIMI微美全...……更多
苹果的封闭生态为大模型打开!发布开源多模态大模型、每天为 AI 烧百万美元,零碎的 Android 生态打得过吗?
...型架构根据介绍,Ferret 主要由用于提取图像嵌入的图像编码器;用于提取区域连续特征的空间感知视觉采样器;以及用于对图像、文本和区域特征进行联合建模的大语言模型组成。输入将图像输入经过预训练的视觉编码器 CLIP-Vi...……更多
英国ai初创公司wayve公布gaia-1最新进展
...汽车上路时的安全性和效率。据悉,GAIA-1会先运用专门的编码器,将影片或文字等各种形式的输入,编码成一个共享的表示形式,进而在模型中实现统一的时序对齐和上下文理解,这种编码方法,让模型能够更好地整合和理解不...……更多
扩散模型也能搞定社交信息推荐,港大数据智能实验室提出RecDiff
...及去噪效果方面均表现出色。研究方法基于图协同过滤的编码器受到简化图神经网络(GNN)成功应用的启发,图那对在社交去噪框架中采用了轻量级图卷积网络(GCN)作为图编码器。 图关系去噪模型隐空间的社交扩散汲取扩散...……更多
仅用4块GPU、不到3天训练出开源版GPT-4o,这是国内团队最新研究
... Seamless Speech Interaction with Large Language ModelsLLaMA-Omni 由语音编码器、语音适配器、LLM 和流式语音解码器组成。用户的语音指令由语音编码器进行编码,经过语音适配器后输入到 LLM。LLM 直接从语音指令中解码文本响应,……更多
清华提出时间序列大模型:面向通用时序分析的生成式Transformer
...间序列的大模型(Large Time Series Model, LTSM)。模型采用仅编码器(Decoder-only)结构,基于多领域时间序列进行大规模预训练,通过微调突破了少样本场景下的性能瓶颈,适配不同输入输出长度的时间序列,以及预测,填补,异常...……更多
AI也会「刷抖音」!清华领衔发布短视频全模态理解新模型 | ICML 2024
...一部分:音视频编码和时间对齐video- SALMONN使用Whisper语音编码器和BEATs音频编码器,分别得到语音和音频的编码向量序列(每1秒音频对应50个向量),同时使用InstructBLIP视觉编码器,以2 FPS的视频采样率得到视觉编码向量序列(...……更多
...智能柔性关节领域不断钻研,通过将电机、驱动器,以及编码器整合到一起,并不断优化电机与算法,配合机器人“大脑”,一步步拓展更丰富的功能和应用场景。智能柔性关节让服务机器人在各类场景里更加实用,而把它们的...……更多
【玖越机器人】堆叠降噪自动编码器(SDAE)
自动编码器(Auto-Encoder,AE)自编码器(autoencoder)是神经网络的一种,经过训练后能尝试将输入复制到输出。自编码器内部有一个隐藏层 h,可以产生编码(code)表示输入。该网络可以看作由两部分组成:一个由函数 h = f(x) 表...……更多
科学家揭示大脑神秘新机制:尝试解释海马体如何映射外部世界
...研究。比如,在攻读博士期间,周宁常常借助双光子荧光显微镜技术,对那些被荧光指示剂标记的脑片组织进行成像记录。她经常观察到活脑片细胞中的钙离子荧光强度随着脑细胞的活动变化而忽明忽暗,此起彼伏、如同遥远星...……更多
...多变的行业5G网络环境,如钢铁现场、煤矿作业。基于自编码器的物理层安全传输技术能够进行针对性安全编码设计,通过机器学习算法完成信道模型的自动建模和编码,实现数据驱动的自动化编译码、最大化通信保密速率。面...……更多
MSRA:视觉生成六大技术问题
...进行了梳理,他认为视觉信号拆分是最本质的问题。生成模型的目标是拟合目标数据分布,然而,目标数据分布过于复杂,难以直接拟合。因此,往往需要将复杂的信号做拆分,拆分成多个简单的分布拟合问题,再分别求解。信...……更多
智谱AI发布视频生成大模型,B站参与研发,亦庄提供算力|甲子光年
...决内容连贯性的问题,智谱自研了一个高效的三维变分自编码器结构(3D VAE),将原视频空间压缩至2%大小,以此减少视频扩散生成模型的训练成本及训练难度。模型结构方面,智谱采用因果三维卷积(Causal 3D convolution)为主要...……更多
比Stable Diffusion便宜118倍!1890美元训出11.6亿参数高质量文生图模型
...。模型前端使用Stable-Diffusion-XL模型中的四通道变分自动编码器(VAE)来提取图像特征,另外还测试了最新的16通道VAE在大规模训练(省钱版)中的性能。 作者使用EDM框架作为所有扩散模型的统一训练设置,使用FID以及CLIP分数来...……更多
日趋完整的“迷你大脑”离真正的人脑还有多远
...体中。肉眼望去,那只是一些不规则的小斑点,但在高倍显微镜下,通过巧妙的染色技术,它们呈现出一圈圈层次分明的红色、蓝色和绿色的复杂构造。这就是研究人员在实验室里培养出来的人类脑细胞。通过脑细胞相互连接的...……更多
北大推出全新机器人多模态大模型!面向通用和机器人场景的高效推理和操作
...予机器人端到端的推理和操纵能力,本文创新性地将视觉编码器与高效的状态空间语言模型集成,构建了全新的 RoboMamba 多模态大模型,使其具备视觉常识任务和机器人相关任务的推理能力,并都取得了先进的性能表现。同时,...……更多
迎战GPT-4V!谷歌PaLI-3视觉语言模型问世,更小、更快、更强
...,大型视觉语言模型在其更大的模型中使用预训练的图像编码器,其中一些使用监督分类进行预训练(如PaLI,PaLI-X,Flamingo,PaLM-E),一些使用预训练的CLIP编码器(如BLIPv2,CrossTVR,ChatBridge,还有一些使用自定义多模态预训练...……更多
天工开物 智破难关
...与人类不一样,人形机器人的关节里藏着电机、减速器、编码器、控制器四大关键零部件:电机能让关节动起来,同时借助减速器控制转速;编码器用来记录运动的位置,控制器则让关节精准发力。 原理看起来简单,但把这些...……更多
更多关于科技的资讯:
有电储能户外电源:国庆出游不断电,畅享自然每一程
国庆长假,是探索远方、寄情山水的绝佳时机。然而,无论是长途自驾中的电子设备续航,还是露营时的照明、烹饪需求,传统的充电宝或小型发电机往往捉襟见肘
2025-09-30 13:45:00
莱西市夏格庄镇:政企同频创新培育新动能
鲁网9月30日讯(记者 葛万彩 通讯员 张磊)引进14个亿元以上高新技术项目,其中8个已开工建设;新投产的青岛新茂林机械装备制造基地
2025-09-30 10:41:00
谨防“二选一”换上新马甲
范仁超据多家媒体报道,在天猫、京东、抖音等多个平台开店的某化妆品品牌负责人日前向媒体反映,之前和某带货达人达成合作意向
2025-09-30 10:48:00
胶东在线9月28日讯(记者 卢伟霞)近日,以“山海有约 烟台有乐”为主题的2025烟台沙滩音乐季在幸福湾活力海岸圆满收官
2025-09-30 06:37:00
京津研发河北转化进行时(三):一个康复机器人的协同样本
从北京研发中心到冀州生产线一个康复机器人的协同样本9月25日,在位于衡水市冀州区的极智医疗器械(河北)有限公司生产车间
2025-09-29 08:26:00
东风与腾讯签署战略合作协议 共建“汽车+互联网”智能新生态
9月28日,东风汽车集团股份有限公司(以下简称“东风汽车”)与深圳市腾讯计算机系统有限公司(以下简称“腾讯”)在武汉举行战略合作签约仪式
2025-09-29 08:33:00
大厂:发放第二期惠民电子消费券 为消费市场注入新活力
河北新闻网讯(张嘉良)消费热潮涌动,市场活力持续攀升。日前,大厂回族自治县发放第二期“乐享大厂·焕新潮”惠民电子消费券
2025-09-29 09:49:00
唐山启动2025“迎国庆、庆中秋”系列促消费活动
河北新闻网讯(张强、王育民)9月27日,2025唐山市“迎国庆、庆中秋”系列促消费活动在路南区京东电器城市旗舰店启动。本次活动由唐山市商务局
2025-09-29 10:28:00
中新经纬9月29日电 29日,中新经纬查询中国执行信息公开网发现,该网站已经没有万达集团董事长王健林“限高”信息。28日
2025-09-29 10:58:00
京东服务商开放季交流会释放11.11商家增长信号
齐鲁晚报·齐鲁壹点 记者 王颖颖2025年9月28日,在年度电商盛宴京东11.11启幕前夕,以“开放共赢 高效合作”为主题的2025京东服务商开放季交流会在京东集团总部成功举行
2025-09-29 11:00:00
官宣!普拉斯与腾讯云深化“云+AI”合作,加速制造业智能转型
近日,四川省宜宾普拉斯包装材料有限公司(下称“普拉斯”)宣布与腾讯云深化战略合作,双方将基于普拉斯在智慧包装行业的丰富经验和腾讯在AI领域的领先技术
2025-09-29 11:05:00
王健林“限高”措施已取消,其所持4.9亿股权仍被冻结
记者9月29日查询,中国执行信息公开网已经没有万达集团董事长王健林“限高”信息。另据企查查9月29日信息,显示王健林限高措施已取消
2025-09-29 11:37:00
象屿集团与钉钉合作,打造统一、智能、全球化的AI办公平台
9月28日,厦门象屿集团有限公司(以下简称“象屿集团”)与钉钉正式达成合作协议,并宣布象屿集团新一代数字化办公平台项目建设正式启动
2025-09-29 11:37:00
春雪食品集团总裁郑钧谈品质建设与战略转型
近日,春雪食品集团股份有限公司(以下简称“春雪食品集团”)宣布,继去年扭亏为盈后,今年上半年实现归母净利润1427.65万元
2025-09-29 11:37:00
聊城智汇 链接全球丨从布艺收纳到宠物用品,泊西集团海外订单供不应求
鲁网9月29日讯在山东聊城茌平区洪官屯镇,阳光洒在错落有致的乡村院落上。走进山东泊西实业集团有限公司生产基地的产品展厅
2025-09-29 12:06:00