• 我的订阅
  • 头条热搜
多模态模型免微调接入互联网,即插即用新框架,效果超闭源方案
...合提出即插即用的SearchLVLMs框架,可以无缝整合任意的多模态大模型。该框架在推理阶段对大模型进行互联网检索增强,使得大模型无需微调即可对实时信息进行准确的反馈。研究团队提出首个辅助多模态大模型对实时信息进行...……更多
2B多模态新SOTA!华科、华南理工发布Mini-Monkey,专治「切分增大分辨率」后遗症
【新智元导读】Mini-Monkey 是一个轻量级的多模态大型语言模型,通过采用多尺度自适应切分策略(MSAC)和尺度压缩机制(SCM),有效缓解了传统图像切分策略带来的锯齿效应,提升了模型在高分辨率图像处理和文档理解任务的...……更多
智谱AI发布视频生成大模型,B站参与研发,亦庄提供算力|甲子光年
...示,这个生成速度在业内已经算非常快了。张鹏认为,多模态模型的探索还处于非常初级的阶段。从生成视频的效果看,对物理世界规律的理解、高分辨率、镜头动作连贯性以及时长等,都有非常大的提升空间。从模型本身角度...……更多
2022生成模型进展有多快,新论文盘点9类生成模型代表作
...基于预训练GPT-2提出了一种新的注意力机制,来衔接不同模态之间的语义差异,无需大量图像-文本数据训练,就能提升文本生成效率。文本-视频模型生成主要代表作有Phenaki、Soundify。Phenaki 由谷歌打造,基于新的编解码器架构C-V...……更多
苹果发布mm1.5-ui模型
10月13日消息,近日,苹果公司推出了300亿参数的多模态AI大模型MM1.5,该版本是在前代MM1的架构基础上发展而来的。该模型继续遵循数据驱动的训练原则,着重探究在不同训练周期中混合各类数据对模型性能产生的影响,相关模...……更多
Meta推出AI新模型VFusion3D,微美全息布局AIGC+3D内容加速产业转型升级
...AI+ 3D模型受青睐自 ChatGPT 火爆全球,以支持图像输入的多模态大模型 GPT-4 的推出作为契机。大模型的多模态计算潜力开始在内容生成领域发挥技术优势,顶尖的科技公司和想要抓住 AIGC 风口的初创企业开始争先恐后地推出 AI 驱...……更多
阿里发“神笔马良版Sora”,轻轻一抹让猫咪转向,20个演示视频+10页技术报告解读
...7.21705项目地址:https://ali-videoai.github.io/tora_video/一、三种模态组合输入,精准控制运动轨迹Tora支持轨迹、文本、图像三种模态,或它们的组合输入,可对不同时长、宽高比和分辨率的视频内容进行动态精确控制。轨迹输入可以...……更多
Gemini引领多模态AI热潮,产业发展有望加速
12月11日,多模态AI概念股继续活跃,苏州科达(603660.SH)三连板。截至当日中午收盘,因赛集团(300781.SZ)涨13.32%,苏州科达涨9.96%,宣亚国际(300612.SZ)涨9.7%。消息面上,GoogleAI大模型Gemini近日发布,Gemini是Google到目前为止规……更多
苹果展示ferret-uiai系统可理解应用程序
...够让AI模型能够理解图像、视频和音频等非文本内容,多模态大语言模型(MLLMs)因此孕育而生。只是现阶段MLLMs还无法有效理解移动应用程序,这主要有以下几个原因:1.手机屏幕的宽高比,和大多数训练图像使用的屏幕宽高比...……更多
新扩散模型OmniGen一统图像生成,架构还高度简化、易用
...的扩散模型架构 OmniGen,一种新的用于统一图像生成的多模态模型。OmniGen 具有以下特点:统一性:OmniGen 天然地支持各种图像生成任务,例如文生图、图像编辑、主题驱动生成和视觉条件生成等。此外,OmniGen 可以处理经典的计...……更多
华中科技大学白翔教授发布多模态大模型
...华中科技大学软件学院白翔教授领衔的VLRLab团队发布了多模态大模型——“Monkey”。该模型号称能够实现对世界的“观察”,对图片进行深入的问答交流和精确描述。▲图源Monkey项目的GitHub页面IT之家注:多模态大模型是一类可...……更多
本周硅谷发生了什么?| 高通第三代骁龙8;谷歌20亿美元追投Anthropic;联想拿出能跑大模型个人PC
...跑大模型的个人PC。还有谷歌20亿追投Anthropic,并曝光多模态模型Gemini和工具Stubbs,将为用户更多便捷和创新的应用开发方式。Meta公布第三季度财报,实现23%的营收增长,是公司自2021年三季度以来最大的营收增幅,表现亮眼。部...……更多
科学家开发多模态音乐理解和生成大模型,兼具理解和创作音乐能力
...音乐理解和生成结合在一起的想法比较新颖,论文也是多模态大模型领域的先期工作之一。并且,除了大模型本身,我们提出的针对模型训练的数据集制作流程和整理的数据集,对学术界也具有较大价值。”腾讯 ARC Lab 刘山松研...……更多
...据交易所(以下简称“深数所”)发布了500个垂直行业多模态算料集,按照大模型应用的不同阶段(训练、推理、调优),有的放矢地提供数据源,让国产大模型厂商“寻数有路”。此次深数所发布的首批500个人工智能大模型高...……更多
下载次数破39万!CMU、Meta联合发布VQAScore文生图优化方案:Imagen3已采用
...论文提名和最佳短论文奖等。其研究成果在生成模型和多模态学习领域受到了学术界和工业界的广泛认可。Pengchuan Zhang是Meta AI(原Facebook AI研究院)的人工智能研究科学家,曾在微软研究院担任高级研究科学家。他的研究领域主...……更多
首个可保留情感的音频LLM!Meta重磅开源7B-Spirit LM,一网打尽「音频+文本」多模态任务
【新智元导读】Meta最近开源了一个7B尺寸的Spirit LM的多模态语言模型,能够理解和生成语音及文本,可以非常自然地在两种模式间转换,不仅能处理基本的语音转文本和文本转语音任务,还能捕捉和再现语音中的情感和风格。...……更多
CVPR最佳论文被生成式AI占领,清华武大华南农大上科校友获奖
...并得到最终反馈标签。之后,设计了一种基于ViT和T5X的多模态Transformer模型RAHF,使用三种预测器预测上述丰富的人类反馈信息:使用卷积层和上采样层预测失真和不匹配的热力图 使用卷积层和全连接层预测4个方面的评分 使用Trans...……更多
别只盯着ChatGPT版Her,多模态AI拟人互动上,国内玩家也支棱起来了
... AI 发起挑战的高规格赛事落下了帷幕!这就是第二届多模态情感识别挑战赛(MER24),它由清华大学陶建华教授、中国科学院自动化研究所连政、帝国理工学院 Björn W.Schuller、奥卢大学赵国英以及南洋理工大学 Erik Cambra 联合在 A...……更多
清华教授唐杰:Scaling Laws虽被质疑,但至今仍是提高大模型性能的重要方法
...事实性以及推理能力的缺陷,实现更精细的语义理解、多模态(文本、图像、语音、视频等)输入和输出,具备更强的个性化能力。”“人工智能的发展会更多瞄向通用人工智能,实现AI的自我解释、自我评测和自我监督,构建...……更多
奥林匹克竞赛里选最聪明的AI:Claude-3.5-Sonnet vs. GPT-4o?
...数据泄露,从而反映模型的真实性能。研究团队测试了多模态大模型(LMMs)和纯文本大模型(LLMs)。对于LLMs的测试,输入时不提供任何与图像相关的信息给模型,仅提供文本。所有评估均采用零样本(zero-shot)思维链(Chain of ...……更多
OpenAI机器人亮相,大模型有了“肉身”,英伟达微软都有投资
...麦克风捕捉的语音,转录为文本输入到由OpenAI预训练的多模态大模型中,模型能够理解图像和文本。模型会处理整个对话的历史记录,包括以往的图像,以生成语言响应,再通过文本到语音的方式向人类回话。△Figure 01训练方法...……更多
让大模型能听会说,国内机构开源首个端到端语音对话模型Mini-Omni
...zhou@jiqizhixin.com;zhaoyunfeng@jiqizhixin.com本文出自启元世界多模态算法组,共同一作是来自清华大学的一年级硕士生谢之非与启元世界多模态负责人吴昌桥,研究兴趣为多模态大模型、LLM Agents 等。本论文上线几天内在 github 上斩获 1...……更多
支付宝多模态医疗大模型正式亮相
...2024世界人工智能大会“可信大模型论坛”上,支付宝多模态医疗大模型正式亮相,成为国内首批多模态医疗大模型之一。据CNMO了解,支付宝医疗大模型的基座模型为蚂蚁百灵大模型。据蚂蚁集团大模型应用部总经理顾进杰介绍...……更多
谷歌在AI赛道加速
...图像-文本预训练、视觉问答、图像描述、视觉推理、多模态检索等多个领域。它有望推动多模态学习技术的进一步发展,并为人工智能领域带来新的突破。当然,该系统完全依赖于其训练数据的质量,如果没有人工整理的最高...……更多
苹果发布新型开源人工智能模型:可根据自然语言指令编辑图像
...Midjourney合作制作MGIE的全称是MLLM-GuidedImageEditing,利用多模态大型语言模型(MLLM)解释用户指令并执行像素级操作。MGIE可以理解用户下达的自然语言命令,进行Photoshop风格的修改、全局照片优化和局部编辑等操作。苹果公司和加...……更多
击败Gemini-1.5-Pro、GPT-4V,从容大模型多模态能力跻身全球前三
...云从科技从容大模型在综合评测权威平台 OpenCompass 的多模态评测领域中取得重大进展。最新评测结果显示,云从科技的从容大模型在该体系中的平均得分为 65.5,这一成绩使得从容大模型跻身全球前三,超越了谷歌的 Gemini-1.5-Pro...……更多
Sora爆火96小时国内大模型进场
...车面临不小的难度。碾压同行2月16日,谷歌发布新一代多模态大模型Gemini 1.5 Pro,在性能上超越OpenAI的GPT-4 Turbo,堪称业界最强大模型。然而,OpenAI在同一日发布Sora大模型,风头直接盖过谷歌,仅需通过文本即可自动生成视频,...……更多
微软宣布Team Copilot发布,年内将推出初步预览版
...型GPT-4o,现已在AzureAIStudio中提供,并作为API提供。该多模态模型集成了文本、图像和音频处理能力,带来了全新的生成式和对话式AI体验。此外,由微软开发的Phi-3列AI小型语言模型(SLM)中的一种新型多模态模型Phi-3-vision现已...……更多
刚刚,Llama 3.2 来了!支持图像推理,还有可在手机上运行的版本
...席 AI 科学家 Yann LeCun 也欢快地表达了自己的喜悦:「乖宝宝羊驼!」Meta 也借此机会重申了他们一贯的主张:「通过开源人工智能,我们才能确保这些创新能够反映和造福于其所服务的全球社区。我们将通过 Llama 3.2 继续推动让...……更多
又一生成式AI助手将“登机”!谷歌发布多模态Bard助理,交互式AI时代近了?
...文本、语音或图像与Bard助理互动——换言之,其具备多模态功能。例如,当用户询问“本周我错过了哪些重要邮件”时,Bard助理会列出各项要点及具体内容,并附上具体对应邮件的链接,还可以帮助用户提取活动地址并在谷歌...……更多
更多关于科技的资讯:
网友票选年度最佳手机:iPhone罕见跌出Top 4!
快科技12月22日消息,在Android Authority近期的年度最佳手机票选中,三星Galaxy S24 Ultra经过两轮激烈竞争后脱颖而出
2024-12-22 14:02:00
鸿蒙智行泊车代驾VPD正式开启全量推送!升级自动泊车/接驾等多项功能
快科技12月22日消息,鸿蒙智行近日宣布全面推送泊车代驾VPD功能,该功能基于华为ADS 3.0技术,带来了多项创新。据悉
2024-12-22 14:02:00
全球第三大车企要诞生了 本田与日产明天启动合并磋商
快科技12月22日消息,据报道,本田和日产汽车23日起将正式启动经营合并磋商,三菱汽车则在协调于明年年初决定是否参与合并
2024-12-22 14:32:00
威刚XPG动境机箱首发199元:独特洞洞板设计
快科技12月22日消息,威刚推出了XPG动境机箱,该机箱以经典的黑、白两色呈现,预售价299元,而首发期间199元。XPG动境机箱的最大亮点
2024-12-22 14:32:00
三星没放弃曲面屏开发!最新专利曝光暗示有望回归
快科技12月22日消息,近年来曲面屏在Android市场中逐渐失宠,三星作为曲面屏幕手机的先驱,连自家旗舰S24 Ultra也放弃了曲面设计
2024-12-22 14:32:00
不许说日语的App在日本爆火:必须用“伪中国语”聊天 日本人和中国人都能看懂
快科技12月22日消息,近日,“伪中国语”在日本网络上翻红。一款名为“对多”(推特的谐音)的App在12月18日更新上线后
2024-12-22 14:32:00
李斌回应蔚来ET9定价78.8万起:很合理 有朋友说不要低于80万
快科技12月22日消息,在媒体沟通会上,蔚来创始人、董事长李斌回应了蔚来新旗舰车型ET9的定价逻辑。他表示,市场定价本身也是一种定位
2024-12-22 15:02:00
最新研究!AI污染可导致美国60万人得哮喘 1300名患者早亡
快科技12月22日消息,据某学术平台报道,近日,一项重要研究发现,至2030年,支持人工智能(AI)所需的电力可能会给美国带来严重的公共卫生问题
2024-12-22 15:02:00
60度电池跑出100度续航!特斯拉电耗水平全球第一 雷军承认小米需要3-5年学习
快科技12月22日消息,特斯拉公司副总裁陶琳今日发文称,特斯拉车型能耗表现出众,可以用60度跑出100度电池的效果。她强调
2024-12-22 15:32:00
限时13.59万起!领克纯电紧凑型SUV——Z20正式上市
快科技12月22日消息,领克Z20,基于SEA浩瀚架构打造的纯电紧凑型SUV正式上市。据悉,共推出三款车型,官方指导价区间为13
2024-12-22 15:32:00
雷军周末开小米SU7 Ultra跑山:戴墨镜、穿风衣 网友直呼太帅
快科技12月22日消息,今日雷军在微博晒出一组和小米SU7 Ultra的合影。照片中,雷军戴墨镜、穿风衣,站在小米SU7 Ultra车前
2024-12-22 16:02:00
《森林》迎来历史新低,steam国区原价70元
12月20日消息,多人联机生存游戏《森林(TheForest)》昨日迎来了新的历史最低价,Steam国区原价70元,立减90%后售价7
2024-12-22 16:58:00
全球覆盖规模最广!高德地图携手蔚来发布全域车道级导航:ET9首搭
快科技12月22日消息,高德地图与蔚来汽车合作,在蔚来NIO DAY上宣布推出全域车道级导航服务,首发搭载于蔚来ET9车型
2024-12-22 17:02:00
奇瑞旗下星途星纪元公布OS 1.4.0版本OTA内容
12月20日消息,奇瑞旗下星途星纪元今日公布OS1.4.0版本OTA内容,80+项新增与优化功能,近期OTA陆续推送中
2024-12-22 17:04:00
飞牛私有云发布fd5硬盘柜,5盘位设计
12月20日消息,飞牛私有云今日发布了FD5硬盘柜,定价850元。官方表示,这款硬盘柜主要为装有飞牛系统的小主机NAS用户设计
2024-12-22 17:08:00