• 我的订阅
  • 头条热搜
扩散模型训练方法一直错了!谢赛宁:Representation matters
...」?他表示:「我们可能一直都在用错误的方法训练扩散模型。」即使对生成模型而言,表征也依然有用。基于此,他们提出了 REPA,即表征对齐技术,其能让「训练扩散 Transformer 变得比你想象的更简单。」Yann LeCun 也对他们的...……更多
LeCun 的世界模型初步实现!基于预训练视觉特征,零样本规划
...Yann LeCun 批评 LLM 的推文之一相反,他更注重所谓的世界模型(World Model),也就是根据世界数据拟合的一个动态模型。比如驴,正是有了这样的世界模型,它们才能找到更省力的负重登山方法。近日,LeCun 团队发布了他们在世界...……更多
谢赛宁新作:表征学习有多重要?一个操作刷新SOTA,DiT训练速度暴涨18倍
...分认识并认可了表征学习的重要性,那么视觉领域的生成模型呢?最近,谢赛宁团队发表的一篇研究就拿出了非常有力的证据:Representation matters!扩散模型如何突破瓶颈? 成本高又难训练的DiT/SiT模型如何提升效率?对于这个问...……更多
迎战GPT-4V!谷歌PaLI-3视觉语言模型问世,更小、更快、更强
...况,这一举动引起了业界的广泛关注。然而,在视觉语言模型的角逐中,谷歌也不甘示弱。 近日,Google Research、Google DeepMind 和 Google Cloud 共同推出了一个更小、更快、更强大的视觉语言模型(VLM)——PaLI-3,该模型与相似的体...……更多
微美全息(NASDAQ:WIMI)将迁移学习引入到语义分割模型,实现高质量的语义分割任务
...景理解、图像分析、机器人感知和图像分割等。语义分割模型是计算机视觉领域中的一种模型,旨在将图像中的每个像素分配给特定的语义类别。与传统的图像分类模型只能给整个图像分配一个类别不同,语义分割模型能够为图...……更多
1890美元,就能从头训练一个还不错的12亿参数扩散模型
...只用1890美元、3700 万张图像,就能训练一个还不错的扩散模型。现阶段,视觉生成模型擅长创建逼真的视觉内容,然而从头开始训练这些模型的成本和工作量仍然很高。比如 Stable Diffusion 2.1 花费了 200000 个 A100 GPU 小时。即使研...……更多
Meta提出“可持续思维链”,让大模型在连续潜空间中推理
今日值得关注的大模型前沿论文北大团队提出「自定义漫画生成」框架UniReal:通过学习真实世界动态实现通用图像生成和编辑苹果团队提出「可扩展视频生成」方法利用扩散 Transformer 进行视频运动迁移ObjCtrl-2.5D:无需训练的「...……更多
支持1024帧、准确率近100%,英伟达「LongVILA」开始发力长视频
现在,长上下文视觉语言模型(VLM)有了新的全栈解决方案 ——LongVILA,它集系统、模型训练与数据集开发于一体。现阶段,将模型的多模态理解与长上下文能力相结合是非常重要的,支持更多模态的基础模型可以接受更灵活...……更多
谷歌在AI赛道加速
...oogle 的 AI 研究实验室Google DeepMind 发布了一项关于训练 AI 模型的新研究,Google 声称,该研究将大大提高训练速度和能效,比其他方法的性能高出 13 倍,能效高出 10 倍。随着有关 AI 数据中心对环境影响的讨论日益升温,新的 JEST...……更多
北大推出全新机器人多模态大模型!面向通用和机器人场景的高效推理和操作
...为刘家铭博士,研究方向为面向开放世界的多模态具身大模型与持续性学习技术。本工作第二作者为刘梦真,研究方向为视觉基础模型与机器人操纵。指导老师为仉尚航,北京大学计算机学院研究员、博士生导师、博雅青年学者...……更多
撞墙还是新起点?自回归模型在图像领域展现出Scaling潜力
...e Information 的一篇文章。这篇文章透露,OpenAI 下一代旗舰模型的质量提升幅度不及前两款旗舰模型之间的质量提升,因为高质量文本和其他数据的供应量正在减少,原本的 Scaling Law(用更多的数据训练更大的模型)可能无以为继...……更多
扩散模型版CS: GO!世界模型+强化学习:2小时训练登顶Atari 100K
...读】DIAMOND是一种新型的强化学习智能体,在一个由扩散模型构建的虚拟世界中进行训练,能够以更高效率学习和掌握各种任务。在Atari 100k基准测试中,DIAMOND的平均得分超越了人类玩家,证明了其在模拟复杂环境中处理细节和进...……更多
Meta首款多模态Llama 3.2开源!1B羊驼宝宝,跑在手机上了
...点在于,Llama 3.2成为羊驼家族中,首个支持多模态能力的模型。Connect大会上,新出炉的Llama 3.2包含了小型(11B)和中型(90B)两种版本的主要视觉模型。正如Meta所说,这两款模型能够直接替代,相对应的文本模型,而且在图像...……更多
首个多模态连续学习综述,港中文、清华、UIC联合发布
...态连续学习的最新进展连续学习(CL)旨在增强机器学习模型的能力,使其能够不断从新数据中学习,而无需进行所有旧数据的重新训练。连续学习的主要挑战是灾难性遗忘:当任务按顺序训练时,新的任务训练会严重干扰之前...……更多
刚刚,Llama 3.2 来了!支持图像推理,还有可在手机上运行的版本
...又又动荡了,另一边被誉为「真・Open AI」的 Meta 对 Llama 模型来了一波大更新:不仅推出了支持图像推理任务的新一代 Llama 11B 和 90B 模型,还发布了可在边缘和移动设备上的运行的轻量级模型 Llama 3.2 1B 和 3B。不仅如此,Meta 还...……更多
英伟达开源NVLM 1.0屠榜多模态!纯文本性能不降反升
【新智元导读】NVLM 1.0系列多模态大型语言模型在视觉语言任务上达到了与GPT-4o和其他开源模型相媲美的水平,其在纯文本性能甚至超过了LLM骨干模型,特别是在文本数学和编码基准测试中,平均准确率提高了4.3个百分点。文本...……更多
开源社区参数量最大的文生视频模型来了,腾讯版Sora免费使用
...又多了一个选择!今日,腾讯宣布旗下的混元视频生成大模型(HunYuan-Video )对外开源,模型参数量 130 亿,可供企业与个人开发者免费使用。目前该模型已上线腾讯元宝 APP,用户可在 AI 应用中的「AI 视频」板块申请试用。腾讯...……更多
北大字节VAR最佳论文、厦大清华亚军,NeurIPS 2024最佳论文出炉
...可扩展图像),论文一作为田柯宇(此前因涉攻击内部大模型,被字节起诉)。参见机器之心报道《GPT 超越扩散、视觉生成 Scaling Law 时刻!北大 & 字节提出 VAR 范式》。机器之心获悉,从 2023 年开始,字节商业化技术团队就...……更多
清华教授唐杰:Scaling Laws虽被质疑,但至今仍是提高大模型性能的重要方法
清华大学计算机系讲席教授、人工智能研究院基础模型研究中心主任唐杰出品|搜狐科技作者|郑松毅2024年已过半,大模型之争热度不减,通往AGI的路究竟该怎么走?近日,清华大学计算机系讲席教授、人工智能研究院基础模...……更多
OpenAI发布文生视频模型Sora,奥尔特曼选取网友提示词
...凌晨,OpenAI再次扔出一枚深水炸弹,发布了首个文生视频模型Sora。据介绍,Sora可以直接输出长达60秒的视频,并且包含高度细致的背景、复杂的多角度镜头,以及富有情感的多个角色。目前官网上已经更新了48个视频demo,在这...……更多
惊掉下巴!被字节起诉800万实习生,拿下NeurIPS 2024最佳论文
...智元了解,字节商业化技术团队早在去年就把视觉自回归模型作为重要的研究方向,团队规划了VAR为高优项目,投入研究小组和大量资源。 除了VAR,团队还发表了LlamaGen等相关技术论文,新的研究成果也将在近期陆续放出。事...……更多
跨模态大升级!少量数据高效微调,LLM教会CLIP玩转复杂文本
在当今多模态领域,CLIP 模型凭借其卓越的视觉与文本对齐能力,推动了视觉基础模型的发展。CLIP 通过对大规模图文对的对比学习,将视觉与语言信号嵌入到同一特征空间中,受到了广泛应用。然而,CLIP 的文本处理能力被广...……更多
多模态模型免微调接入互联网,即插即用新框架,效果超闭源方案
一个5月份完成训练的大模型,无法对《黑神话·悟空》游戏内容相关问题给出准确回答。这是大模型的老毛病了。因为《黑神话》8月才上市,训练数据里没有它的相关知识。众所周知,大模型的训练和微调会消耗大量计算资源...……更多
字节豆包大模型团队突破残差连接局限!预训练收敛最快加速80%
字节跳动豆包大模型团队于近日提出超连接(Hyper-Connections),一种简单有效的残差连接替代方案。面向残差连接的主要变体的局限问题,超连接可通过动态调整不同层之间的连接权重,解决梯度消失和表示崩溃(Representation Col...……更多
清华团队提出大模型“密度定律”;足球领域首个视觉语言基础模型
今日值得关注的大模型前沿论文SwiftEdit:50 倍速文本引导图像编辑清华团队提出大模型“密度定律”足球领域首个视觉语言基础模型Aguvis:首个完全自主的纯视觉 GUI agentGoogle DeepMind:利用运动轨迹控制视频生成大模型数学新基...……更多
苹果300亿参数大模型首亮相,还买了家AI公司|焦点分析
...武静静编辑|邓咏仪放弃造车后的苹果,正在加速入局大模型战争。当地时间3月15日,苹果就披露了两个关键大模型动作。其中一个值得关注的是苹果的收购事件。彭博社报道称,苹果已经收购了一家加拿大AI初创公司DarwinAI。...……更多
苹果的封闭生态为大模型打开!发布开源多模态大模型、每天为 AI 烧百万美元,零碎的 Android 生态打得过吗?
...构成威胁,Arm 和台积电将获胜。”有网友说到苹果在大模型发展上的状况。也有网友认为,苹果在大模型上的发力将为其在未来的手机市场竞争中带来优势。他们认为,开源模型加上移动设备的本地数据,即本地化的原生 LLM,...……更多
1行代码改进大模型训练,Llama训练速度升至1.47倍,华人团队出品
只要改一行代码,就能让大模型训练效率提升至1.47倍。拥有得州大学奥斯汀分校背景四名华人学者,提出了大模型训练优化器Cautious Optimizers。在提速的同时,Cautious能够保证训练效果不出现损失,而且语言和视觉模型都适用。...……更多
百万鲁棒数据训练,3D场景大语言模型新SOTA!IIT等发布Robin3D
...数据生成引擎(RIG)生成的大规模数据进行训练,以提高模型在3D场景理解中的鲁棒性和泛化能力,在多个3D多模态学习基准测试中取得了优异的性能,超越了以往的方法,且无需针对特定任务的微调。多模态大语言模型(Multi-mo...……更多
MSRA:视觉生成六大技术问题
...进行了梳理,他认为视觉信号拆分是最本质的问题。生成模型的目标是拟合目标数据分布,然而,目标数据分布过于复杂,难以直接拟合。因此,往往需要将复杂的信号做拆分,拆分成多个简单的分布拟合问题,再分别求解。信...……更多
更多关于科技的资讯:
3名游客意外落海:水上机器人成功拖回
快科技2月3日消息,机器人越发成熟起来,在各个领域发挥的作用也越来越大,近日,就有水上机器人成功救援了三名落水的游客。据央视网报道
2025-02-03 08:10:00
RTX 5090缺货到一塌糊涂!想预定都要等4个月
快科技2月3日消息,在RTX 50系列显卡发布后,市场出现了“一卡难求”的局面,许多零售商在开售后几分钟内就宣告售罄,甚至一些商家根本未能拿到RTX 5090
2025-02-03 08:10:00
华为XHUD-AR构图引擎亮点信息公布:让开车比开飞机更有趣
快科技2月3日消息,今日凌晨,华为乾崑智能汽车解决方案公布了XHUD-AR构图引擎的亮点信息,引擎支持多维坐标转换(虚实空间融合算法)
2025-02-03 09:10:00
火热一线过大年|厦企安费诺电子近4000名员工坚守岗位
春节假期,安费诺电子员工在产线上忙碌。(记者 张奇辉 摄)厦门网讯(厦门日报记者 李晓平)“为赶订单,这个春节我们有近4000名员工坚守岗位
2025-02-03 09:07:00
牢记嘱托 善作善成 春节假期,天津港依然是一派繁忙景象。港口里的拖轮,每天平均穿梭于码头和货轮之间8到10艘次。
2025-02-03 08:51:00
体长55米的巨型虫子!缩成一团蠕动 仿佛“毒液”
提起绦虫,第一时间的反应绝对是“恶心”,因为这是一种非常长的肠道寄生虫,人类也会被寄生。它到底有多长呢?开头这张照片就比较有名
2025-02-03 08:40:00
AMD惊喜连连!锐龙9 9000X3D与RX 9070系列显卡3月同步发布
快科技2月3日消息,据媒体报道,AMD计划在3月底同步推出锐龙9 9000X3D系列处理器和RX 9070系列显卡。锐龙9 9000X3D系列处理器包括16核心的9950X3D和12核心的9900X3D
2025-02-03 08:40:00
16大核32小核!Intel下代桌面CPU Nova Lake-SK很暴力
快科技2月3日消息,Intel已经官宣,将在今年下半年投产Intel 18A工艺,发布下代移动处理器Panther Lake
2025-02-03 08:40:00
春晚与淘宝,如何成为“最佳搭档”的?
作者:剑秋申遗后的春晚,正在变得更年轻? 在辞旧迎新的除夕夜,春节联欢晚会这个持续了43年的文化盛宴,在其与老搭档淘宝7年后第四次携手之际
2025-02-03 07:17:00
2024年全新上市车型销量榜:比亚迪秦L第一 一年狂卖228818辆
快科技2月2日消息,易车榜根据终端销量数据,整理了2024年上市的全新车型销量Top20榜单。具体来看,比亚迪秦L为去年上市的全新车型销冠车型
2025-02-02 23:10:00
苹果宣布开源Swift Build:拓展开发者生态建设
快科技2月2日消息,据报道,苹果宣布其将开源用于构建Xcode开发环境的工具引擎Swift Build。为开发者提供更加灵活和强大的工具支持
2025-02-02 23:40:00
阿西莫夫三定律 还适用于今天的AI吗
1942年,伟大的科幻作家艾萨克·阿西莫夫(Isaac Asimov)在他的短篇小说《转圈圈》(Runaround)中首次提出了“机器人三定律”
2025-02-02 23:40:00
想买YU7 先看看这台14000公里的创始版SU7现在咋样了
各位买新能源车的时候,会考虑二手车么?反正脖子哥我是有点心动的,二手新能源大部分年份都很近,里程数很低,而且一看价格全是骨折价
2025-02-03 01:10:00
“新冰箱吸不住高价买的冰箱贴”,气疯有囤积癖的年轻人
原标题:为什么新出的冰箱,吸不住冰箱贴了?作者:梁婷婷囤满食物的冰箱,在爸妈眼里自带一种年味儿,但一代人有一代人的“囤积癖”
2025-02-03 03:03:00
电动车主分享高速服务区充电小妙招:过个通道立马不用排队等桩
快科技2月2日消息,随着新能源汽车保有量的增多,每年春运期间都会出现服务区充电排队的情况。日前,有电动车车主分享了一个高速服务区充电小妙招
2025-02-02 12:40:00