• 我的订阅
  • 头条热搜
扩散模型训练方法一直错了!谢赛宁:Representation matters
...」?他表示:「我们可能一直都在用错误的方法训练扩散模型。」即使对生成模型而言,表征也依然有用。基于此,他们提出了 REPA,即表征对齐技术,其能让「训练扩散 Transformer 变得比你想象的更简单。」Yann LeCun 也对他们的...……更多
LeCun 的世界模型初步实现!基于预训练视觉特征,零样本规划
...Yann LeCun 批评 LLM 的推文之一相反,他更注重所谓的世界模型(World Model),也就是根据世界数据拟合的一个动态模型。比如驴,正是有了这样的世界模型,它们才能找到更省力的负重登山方法。近日,LeCun 团队发布了他们在世界...……更多
谢赛宁新作:表征学习有多重要?一个操作刷新SOTA,DiT训练速度暴涨18倍
...分认识并认可了表征学习的重要性,那么视觉领域的生成模型呢?最近,谢赛宁团队发表的一篇研究就拿出了非常有力的证据:Representation matters!扩散模型如何突破瓶颈? 成本高又难训练的DiT/SiT模型如何提升效率?对于这个问...……更多
迎战GPT-4V!谷歌PaLI-3视觉语言模型问世,更小、更快、更强
...况,这一举动引起了业界的广泛关注。然而,在视觉语言模型的角逐中,谷歌也不甘示弱。 近日,Google Research、Google DeepMind 和 Google Cloud 共同推出了一个更小、更快、更强大的视觉语言模型(VLM)——PaLI-3,该模型与相似的体...……更多
微美全息(NASDAQ:WIMI)将迁移学习引入到语义分割模型,实现高质量的语义分割任务
...景理解、图像分析、机器人感知和图像分割等。语义分割模型是计算机视觉领域中的一种模型,旨在将图像中的每个像素分配给特定的语义类别。与传统的图像分类模型只能给整个图像分配一个类别不同,语义分割模型能够为图...……更多
1890美元,就能从头训练一个还不错的12亿参数扩散模型
...只用1890美元、3700 万张图像,就能训练一个还不错的扩散模型。现阶段,视觉生成模型擅长创建逼真的视觉内容,然而从头开始训练这些模型的成本和工作量仍然很高。比如 Stable Diffusion 2.1 花费了 200000 个 A100 GPU 小时。即使研...……更多
支持1024帧、准确率近100%,英伟达「LongVILA」开始发力长视频
现在,长上下文视觉语言模型(VLM)有了新的全栈解决方案 ——LongVILA,它集系统、模型训练与数据集开发于一体。现阶段,将模型的多模态理解与长上下文能力相结合是非常重要的,支持更多模态的基础模型可以接受更灵活...……更多
谷歌在AI赛道加速
...oogle 的 AI 研究实验室Google DeepMind 发布了一项关于训练 AI 模型的新研究,Google 声称,该研究将大大提高训练速度和能效,比其他方法的性能高出 13 倍,能效高出 10 倍。随着有关 AI 数据中心对环境影响的讨论日益升温,新的 JEST...……更多
北大推出全新机器人多模态大模型!面向通用和机器人场景的高效推理和操作
...为刘家铭博士,研究方向为面向开放世界的多模态具身大模型与持续性学习技术。本工作第二作者为刘梦真,研究方向为视觉基础模型与机器人操纵。指导老师为仉尚航,北京大学计算机学院研究员、博士生导师、博雅青年学者...……更多
扩散模型版CS: GO!世界模型+强化学习:2小时训练登顶Atari 100K
...读】DIAMOND是一种新型的强化学习智能体,在一个由扩散模型构建的虚拟世界中进行训练,能够以更高效率学习和掌握各种任务。在Atari 100k基准测试中,DIAMOND的平均得分超越了人类玩家,证明了其在模拟复杂环境中处理细节和进...……更多
Meta首款多模态Llama 3.2开源!1B羊驼宝宝,跑在手机上了
...点在于,Llama 3.2成为羊驼家族中,首个支持多模态能力的模型。Connect大会上,新出炉的Llama 3.2包含了小型(11B)和中型(90B)两种版本的主要视觉模型。正如Meta所说,这两款模型能够直接替代,相对应的文本模型,而且在图像...……更多
首个多模态连续学习综述,港中文、清华、UIC联合发布
...态连续学习的最新进展连续学习(CL)旨在增强机器学习模型的能力,使其能够不断从新数据中学习,而无需进行所有旧数据的重新训练。连续学习的主要挑战是灾难性遗忘:当任务按顺序训练时,新的任务训练会严重干扰之前...……更多
刚刚,Llama 3.2 来了!支持图像推理,还有可在手机上运行的版本
...又又动荡了,另一边被誉为「真・Open AI」的 Meta 对 Llama 模型来了一波大更新:不仅推出了支持图像推理任务的新一代 Llama 11B 和 90B 模型,还发布了可在边缘和移动设备上的运行的轻量级模型 Llama 3.2 1B 和 3B。不仅如此,Meta 还...……更多
英伟达开源NVLM 1.0屠榜多模态!纯文本性能不降反升
【新智元导读】NVLM 1.0系列多模态大型语言模型在视觉语言任务上达到了与GPT-4o和其他开源模型相媲美的水平,其在纯文本性能甚至超过了LLM骨干模型,特别是在文本数学和编码基准测试中,平均准确率提高了4.3个百分点。文本...……更多
清华教授唐杰:Scaling Laws虽被质疑,但至今仍是提高大模型性能的重要方法
清华大学计算机系讲席教授、人工智能研究院基础模型研究中心主任唐杰出品|搜狐科技作者|郑松毅2024年已过半,大模型之争热度不减,通往AGI的路究竟该怎么走?近日,清华大学计算机系讲席教授、人工智能研究院基础模...……更多
OpenAI发布文生视频模型Sora,奥尔特曼选取网友提示词
...凌晨,OpenAI再次扔出一枚深水炸弹,发布了首个文生视频模型Sora。据介绍,Sora可以直接输出长达60秒的视频,并且包含高度细致的背景、复杂的多角度镜头,以及富有情感的多个角色。目前官网上已经更新了48个视频demo,在这...……更多
多模态模型免微调接入互联网,即插即用新框架,效果超闭源方案
一个5月份完成训练的大模型,无法对《黑神话·悟空》游戏内容相关问题给出准确回答。这是大模型的老毛病了。因为《黑神话》8月才上市,训练数据里没有它的相关知识。众所周知,大模型的训练和微调会消耗大量计算资源...……更多
字节豆包大模型团队突破残差连接局限!预训练收敛最快加速80%
字节跳动豆包大模型团队于近日提出超连接(Hyper-Connections),一种简单有效的残差连接替代方案。面向残差连接的主要变体的局限问题,超连接可通过动态调整不同层之间的连接权重,解决梯度消失和表示崩溃(Representation Col...……更多
苹果300亿参数大模型首亮相,还买了家AI公司|焦点分析
...武静静编辑|邓咏仪放弃造车后的苹果,正在加速入局大模型战争。当地时间3月15日,苹果就披露了两个关键大模型动作。其中一个值得关注的是苹果的收购事件。彭博社报道称,苹果已经收购了一家加拿大AI初创公司DarwinAI。...……更多
苹果的封闭生态为大模型打开!发布开源多模态大模型、每天为 AI 烧百万美元,零碎的 Android 生态打得过吗?
...构成威胁,Arm 和台积电将获胜。”有网友说到苹果在大模型发展上的状况。也有网友认为,苹果在大模型上的发力将为其在未来的手机市场竞争中带来优势。他们认为,开源模型加上移动设备的本地数据,即本地化的原生 LLM,...……更多
百万鲁棒数据训练,3D场景大语言模型新SOTA!IIT等发布Robin3D
...数据生成引擎(RIG)生成的大规模数据进行训练,以提高模型在3D场景理解中的鲁棒性和泛化能力,在多个3D多模态学习基准测试中取得了优异的性能,超越了以往的方法,且无需针对特定任务的微调。多模态大语言模型(Multi-mo...……更多
MSRA:视觉生成六大技术问题
...进行了梳理,他认为视觉信号拆分是最本质的问题。生成模型的目标是拟合目标数据分布,然而,目标数据分布过于复杂,难以直接拟合。因此,往往需要将复杂的信号做拆分,拆分成多个简单的分布拟合问题,再分别求解。信...……更多
微美全息构建基于深度迁移学习的图像分类融合模型, 提高图像分类的准确性和效率
...美全息(NASDAQ:WIMI)构建基于深度迁移学习的图像分类融合模型,提高图像分类的准确性和效率深度学习在计算机视觉领域得到越来越广泛的应用,尤其是在图像分类任务上。然而,由于数据集的限制和模型的复杂性,深度学习模...……更多
国网浙江电力:世界首个电力联邦学习国际标准获批立项
...力电力行业智能化转型。联邦学习是一种分布式人工智能模型训练技术。《基于联邦学习的电力视觉检测系统要求和框架》国际标准将联邦学习技术与电力视觉检测业务相结合,构建了一套分布式模型训练方法,能够有效解决数...……更多
与OpenAI o1技术理念相似,TDPO-R算法有效缓解奖励过优化问题
...计算机学院攻读博士二年级,研究方向为强化学习、扩散模型和大模型对齐。OpenAI 最近发布的 o1 模型在数学、代码生成和长程规划等复杂任务上取得了突破性进展,据业内人士分析披露,其关键技术在于基于强化学习的搜索与...……更多
70倍极致压缩!大模型的检查点再多也不怕
...ICCV、ECCV等顶会上有多项代表性工作发表,在高效大语言模型、视觉模型等领域都有丰富的成果产出,和知名高校和科研机构合作广泛。大模型作为当下 AI 工业界和学术界当之无愧的「流量之王」,吸引了大批学者和企业投入资...……更多
从未见过现实世界数据,MIT在虚拟环境中训练出机器狗,能跑酷
...的数据收集来尝试实现通用具身智能,但是和其他的基础模型,比如初版的 StableDiffusion 相比,即使是 pi 的数据都会少七八个数量级。MIT 的这个团队希望用生成模型来作为机器人学习的新数据源,用工程手段来取代传统的数据...……更多
Sam Altman或筹数十亿美元自造AI芯片,DeepMind首席科学家或将辞职创业
...G42和软银集团。2.能力达到奥数金牌级,DeepMind几何推理模型登上Nature,这个叫AlphaGeometry的模型在国际数学奥林匹克(IMO)的30道几何题中做出了25道,这一成就标志着AI在数学领域推理能力的史诗级升级。3.DeepMind首席科学家Lauren...……更多
Meta 公司发布 Imagine Yourself AI 模型
...可扩展性,为此 Meta 公司创新提出了“Imagine Yourself” AI 模型。传统个性化图像生成方法挑战目前的个性化图像生成方法通常依赖于为每个用户调整模型,这种方法效率低下,而且缺乏通用性。虽然较新的方法试图在不进行调整...……更多
Meta版Sora深夜横空出世,小扎放出16秒高清大片!92页论文曝光技术细节,Llama 3架构立功
...、上传图像生成个性化视频。甚至Meta还放出了92页论文,模型架构、训练细节一并公开,干货满满!毫无预兆地,Meta版Sora——Movie Gen,就在刚刚抢先上线了!Meta将其称为「迄今最先进的媒体基础模型」。全新上线的大杀器Movie ...……更多
更多关于科技的资讯:
澳大利亚清关详细攻略:澳洲豹国际物流助力顺畅通关
在跨境贸易的广阔舞台上,澳大利亚清关流程犹如一座关键的桥梁,连接着各国与澳大利亚之间的商业往来。清关流程的顺畅与否,直接关系到货物能否及时
2025-01-02 13:37:00
14.98万起!菜鸟发布GT Pro全新无人车:L4级自动驾驶 180km续航
快科技1月2日消息,今日,菜鸟集团正式发布其新款L4级公开道路无人车——菜鸟无人车GT Pro。据了解,菜鸟GT Pro是菜鸟继2024年推出L4级公开道路无人车菜鸟GT后的首次升级改款
2025-01-02 13:43:00
iPhone 16等突然降价能否退差价 苹果中国回应
快科技1月2日消息,今天苹果中国没有预警的进行了降价,不过降幅跟第三方平台相比并不大。按照苹果中国官方的公告,2025年1月4~7日举办“叱咤福利”新年促销活动
2025-01-02 13:43:00
广汽“小揽胜”传祺S7内饰曝光!搭载自研智驾系统与AI智能座舱
快科技1月2日消息,广汽传祺官方发布了旗下全新中大型SUV——传祺S7的内饰官图。新车将搭载广汽自研的端到端无图智驾技术
2025-01-02 14:13:00
曝禾赛科技裁员数百人:赔偿N+1、无年终奖
快科技1月2日消息,据集微网报道,近期,在职场社交平台“脉脉”上有网友爆料称,禾赛科技正在开启裁员计划,裁员人数或达数百人
2025-01-02 14:13:00
胖东来将出台制度规范员工彩礼:让员工明白要活自己喜欢状态 而非为面子
快科技1月2日消息,全国首个要出台制度规范员工结婚要彩礼的公司诞生了,而它就是胖东来。近日,胖东来创始人于东来直播中提到将出台更多制度
2025-01-02 14:13:00
近年来,山东工业经济发展在创新的浪潮中展现出蓬勃生机,犹如一艘在时代海洋中扬起创新之帆的巨轮,正向着高质量发展的彼岸破浪前行
2025-01-02 14:13:00
顾客删特斯拉销售微信被辱骂:怎么不把你妈也删了
快科技1月2日消息,买车本是件开心的事,但打算在上海买特斯拉的周先生最近却遇到了糟心事。据媒体报道,周先生自述删除特斯拉一销售员微信后
2025-01-02 14:13:00
新年新启程 | 星瀚互娱联袂国际伙伴布局全球沉浸式剧场
星瀚互娱携手美霖文化、好莱坞娱乐科技投资公司StarsCollective,以及七次获得奥斯卡大奖的视觉特效巨头DNEG(“双重否定”视觉特效工作室)
2025-01-02 14:17:00
绘制数据产业发展蓝图 国家数据局划重点
本文转自:人民网国家数据局关于推动数据产业高质量发展和促进企业数据资源开发利用专题新闻发布会。人民网记者 许维娜摄人民网北京1月2日电 (记者许维娜)国家数据局自组建伊始
2025-01-02 14:26:00
本文转自:人民网-山东频道光电产业如何点亮生活?如果你和家人刚打开新买的激光电视,光电技术为我们提供了色彩纷呈、帧帧精致的视觉享受
2025-01-02 14:30:00
苹果官网突然降价!最高降800元,紧跟华为降价步伐?
元旦刚过,苹果中国官网公布出了“叱咤福利”新年促销活动,将于1月4日-7日开启。活动期间,以符合条件的支付方式购买指定商品
2025-01-02 14:34:00
宋雨琦代言 OPPO Reno13心动白上架:2599元起
快科技1月2日消息,今天,OPPO预告Reno13心动白将于1月10日正式上市,起售价是2599元,由宋雨琦代言。据悉
2025-01-02 14:43:00
村民称刘强东又给老家发现金:每家有几千元礼品 60岁以上老人有一万元
快科技1月2日,村民扶我青云志,我送村民万两金。每逢过年给老家村民发红包、送礼品,已经成为京东创始人刘强东多年的习惯。据媒体报道
2025-01-02 14:43:00
REDMI官宣全新产品策略:K系列全面升档 Turbo接棒2K档
快科技1月2日消息,在REDMI Turbo 4的发布会上,王腾首先回顾成绩,并展望2025年。王腾表示,REDMI品牌2025年将坚持高品质
2025-01-02 14:43:00