• 我的订阅
  • 头条热搜
Meta首款多模态Llama 3.2开源!1B羊驼宝宝,跑在手机上了
【新智元导读】Meta首个理解图文的多模态Llama 3.2来了!这次,除了11B和90B两个基础版本,Meta还推出了仅有1B和3B轻量级版本,适配了Arm处理器,手机、AR眼镜边缘设备皆可用。Llama 3.1超大杯405B刚过去两个月,全新升级后的Llama 3....……更多
对比学习滥用隐私数据!中科院等发布「多步误差最小化」方法 | ACM MM2024
...出了一种新颖的多步误差最小化(MEM)方法,用于生成多模态不可学习样本,以保护个人数据不被多模态对比学习模型滥用。通过优化图像噪声和文本触发器,MEM方法有效地误导模型,降低其对隐私数据的学习能力,并在不同模...……更多
英伟达开源NVLM 1.0屠榜多模态!纯文本性能不降反升
【新智元导读】NVLM 1.0系列多模态大型语言模型在视觉语言任务上达到了与GPT-4o和其他开源模型相媲美的水平,其在纯文本性能甚至超过了LLM骨干模型,特别是在文本数学和编码基准测试中,平均准确率提高了4.3个百分点。文本...……更多
迎战GPT-4V!谷歌PaLI-3视觉语言模型问世,更小、更快、更强
...像与语音识别能力。本月初,微软更是公布了 166 页的多模态版 GPT-4V 的相关文档,详细探讨了 GPT-4V 的功能和使用情况,这一举动引起了业界的广泛关注。然而,在视觉语言模型的角逐中,谷歌也不甘示弱。 近日,Google Research...……更多
多模态LLM视觉推理能力堪忧,浙大领衔用GPT-4合成数据构建多模态基准
...进模型在视觉推理方面同样不足。为此他们提出了一种多模态的视觉推理基准,并设计了一种新颖的数据合成方法。无论是语言模型还是视觉模型,似乎都很难完成更抽象层次上的理解和推理任务。语言模型已经可以写诗写小说...……更多
苹果的封闭生态为大模型打开!发布开源多模态大模型、每天为 AI 烧百万美元,零碎的 Android 生态打得过吗?
...人员于在 2023 年 10 月低调发布的一个名为 Ferret 的开源多模态大模型也没有收到太多关注。当时,该版本包含代码和权重,但仅供研究使用,而非商业许可。但随着 Mistral 开源模型备受关注、谷歌 Gemini 即将应用于 Pixel Pro 和 Andr...……更多
清华领衔发布多模态评估MultiTrust:GPT-4可信度有几何?
...并实现部分专利产学研转化落地应用。以GPT-4o为代表的多模态大语言模型(MLLMs)因其在语言、图像等多种模态上的卓越表现而备受瞩目。它们不仅在日常工作中成为用户的得力助手,还逐渐渗透到自动驾驶、医学诊断等各大应...……更多
Bengio团队提出多模态新基准,直指Claude 3.5和GPT-4o弱点
...灵奖得主Yoshua Bengio教授。博士期间的主要工作聚焦于多模态、GFlowNet、多智能体强化学习、AI于气候变化的应用。目前已在ICML、ICLR、ICASSP等机器学习顶会发表论文。代表作为Large-scale Contrastive Language-Audio Pretrai……更多
Sora再度颠覆AI视频行业,A股哪些公司有相关布局?
...实现AGI(通用人工智能)的重要里程碑。券商建议关注多模态技术Sora视频一出,立刻震惊业界。360集团创始人、董事长周鸿祎2月16日在微博发文表示,这意味着AGI实现将从10年缩短到1年。其实,Sora出现之前,也有其他类似的AI...……更多
阿里国际发布最新开源多模态模型Ovis,多模态能力再升级
...手写英文准确翻译成中文、还能精准分析财报数据……多模态能力再次升级!今天,阿里国际AI团队发布了一款多模态大模型Ovis,在图像理解任务上不断突破极限,多种具体的子类任务中均达到了SOTA(最新技术)水平。多模态...……更多
MMMU华人团队更新Pro版!多模态基准升至史诗级难度:过滤纯文本问题、引入纯视觉问答
...候选选项、引入纯视觉输入设置)更严格地评估模型的多模态理解能力;模型在新基准上的性能下降明显,表明MMMU-Pro能有效避免模型依赖捷径和猜测策略的情况。多模态大型语言模型(MLLMs)在各个排行榜上展现的性能不断提...……更多
...晨,美国科技公司OpenAI在春季发布会上发布了最新GPT-4o多模态大模型。据OpenAI公司首席技术官米拉·穆拉蒂(Mira Murati)介绍,GPT-4o可以接收文本、音频和图像的任意组合作为输入,并实时生成文本、音频和图像的任意组合进行...……更多
llava-1.6与gpt-4vmp面硬刚的性能,一起来看看
...Qwen-VL-Plus,与GPT-4V正面硬刚,这个有着SOTA级别性能的多模态大模型真正做到了“人无我有,人有我优”。继2023年4月的初级版本、2023年10月的LLaVA-1.5之后,2024年1月31日,微软研究院又联合威斯康星大学麦迪逊分校和哥伦比亚大...……更多
超越扩散模型!自回归新范式仅需2.9秒就生成高质量图像
...VAR指出是因为自回归模型逐个预测token的行为不符合图像模态的特点,提出“next-scale prediction”范式,将视觉自回归建模为逐个预测更大尺度scale的token map。这一方式避免了原始基于next-token的自回归方案难以建模图像模态的问题...……更多
GPT-4o的识图能力有多牛?四大维度深度体验
...的?后训练功不可没从前述体验看,GPT-4o的反应速度和多模态能力令人印象深刻。OpenAI首席执行官阿尔特曼直言,新的GPT-4o是OpenAI“有史以来最好的模型”。那么,GPT-4o的多模态能力是如何“炼”成的呢?这背后的秘密或许可以...……更多
支持1024帧、准确率近100%,英伟达「LongVILA」开始发力长视频
...统、模型训练与数据集开发于一体。现阶段,将模型的多模态理解与长上下文能力相结合是非常重要的,支持更多模态的基础模型可以接受更灵活的输入信号,以便人们可以以更多样化的方式与模型交互。而更长的上下文使模型...……更多
更快、更强、更可控:智谱“起舞弄清影”,视频生成卷出新高度!
...张鹏则表示,对于Sora的出现,他并不吃惊,因为立足多模态领域的深耕,智谱也正在做这件事。如今,“清影”面世,让外界看到了智谱在视频生成领域的阶段性成果。而“人人可用”的开放姿态,也让没有视频制作基础的小...……更多
苹果300亿参数大模型首亮相,还买了家AI公司|焦点分析
...时间,苹果低调的在arxiv.org网站上发布论文,官宣了在多模态大模型领域的最新成果。在论文《MM1: Methods, Analysis & Insights from Multimodal LLM Pre-training》(MM1: 多模式LLM预训练的方法、分析和见解)中可以……更多
云知声推出山海多模态大模型:实时生成文本、音频和图像
IT之家 8 月 26 日消息,云知声于 23 日宣布推出山海多模态大模型。通过整合跨模态信息,山海多模态大模型能够接收文本、音频、图像等多种形式作为输入,并实时生成文本、音频和图像的任意组合输出。▲云知声山海助手微...……更多
“智算融合 共创未来”——开普云AI战略暨新产品发布会召开
...,公司的AI战略是以自主构建算力能力为底座,以开悟多模态大模型为支撑,通过中台体系的构建,实现了行业训练数据的有序治理、行业大模型的高效训练以及智能应用的敏捷开发。这一战略不仅催生了AIGC多模态内容生产平台...……更多
...大量通用数据、行业数据,支持文本、图像、视频等多种模态,并打造了全流程的数据处理工具。超过700万亿字节的通用数据集可以开展通用模型训练,同时,4.33万亿字节的行业垂类数据对模型训练也极为重要。当前已知的全...……更多
背水一战狙击GPT-4,谷歌最强大模型Gemini终发布,听说读写全能选手 | 焦点分析
...布,“大杀器”Gemini 1.0,正式上线。Gemini是一个原生多模态大模型,谷歌在今年5月的I/O大会宣布开始研发后,Gemini的传说不断:将谷歌大脑和DeepMind部门合并,数百人攻坚,几乎耗尽谷歌内部计算资源……如此种种,只为和OpenA...……更多
零成本突破多模态大模型瓶颈!多所美国顶尖高校华人团队,联合推出自增强技术CSR
新智元报道编辑:LRST【新智元导读】现有多模态大模型在对齐不同模态时面临幻觉和细粒度感知不足等问题,传统偏好学习方法依赖可能不适配的外源数据,存在成本和质量问题。Calibrated Self-Rewarding(CSR)框架通过自我增强学...……更多
2B多模态新SOTA!华科、华南理工发布Mini-Monkey,专治「切分增大分辨率」后遗症
【新智元导读】Mini-Monkey 是一个轻量级的多模态大型语言模型,通过采用多尺度自适应切分策略(MSAC)和尺度压缩机制(SCM),有效缓解了传统图像切分策略带来的锯齿效应,提升了模型在高分辨率图像处理和文档理解任务的...……更多
智谱AI发布视频生成大模型,B站参与研发,亦庄提供算力|甲子光年
...示,这个生成速度在业内已经算非常快了。张鹏认为,多模态模型的探索还处于非常初级的阶段。从生成视频的效果看,对物理世界规律的理解、高分辨率、镜头动作连贯性以及时长等,都有非常大的提升空间。从模型本身角度...……更多
2022生成模型进展有多快,新论文盘点9类生成模型代表作
...基于预训练GPT-2提出了一种新的注意力机制,来衔接不同模态之间的语义差异,无需大量图像-文本数据训练,就能提升文本生成效率。文本-视频模型生成主要代表作有Phenaki、Soundify。Phenaki 由谷歌打造,基于新的编解码器架构C-V...……更多
Meta推出AI新模型VFusion3D,微美全息布局AIGC+3D内容加速产业转型升级
...AI+ 3D模型受青睐自 ChatGPT 火爆全球,以支持图像输入的多模态大模型 GPT-4 的推出作为契机。大模型的多模态计算潜力开始在内容生成领域发挥技术优势,顶尖的科技公司和想要抓住 AIGC 风口的初创企业开始争先恐后地推出 AI 驱...……更多
阿里发“神笔马良版Sora”,轻轻一抹让猫咪转向,20个演示视频+10页技术报告解读
...7.21705项目地址:https://ali-videoai.github.io/tora_video/一、三种模态组合输入,精准控制运动轨迹Tora支持轨迹、文本、图像三种模态,或它们的组合输入,可对不同时长、宽高比和分辨率的视频内容进行动态精确控制。轨迹输入可以...……更多
Gemini引领多模态AI热潮,产业发展有望加速
12月11日,多模态AI概念股继续活跃,苏州科达(603660.SH)三连板。截至当日中午收盘,因赛集团(300781.SZ)涨13.32%,苏州科达涨9.96%,宣亚国际(300612.SZ)涨9.7%。消息面上,GoogleAI大模型Gemini近日发布,Gemini是Google到目前为止规……更多
苹果展示ferret-uiai系统可理解应用程序
...够让AI模型能够理解图像、视频和音频等非文本内容,多模态大语言模型(MLLMs)因此孕育而生。只是现阶段MLLMs还无法有效理解移动应用程序,这主要有以下几个原因:1.手机屏幕的宽高比,和大多数训练图像使用的屏幕宽高比...……更多
更多关于科技的资讯:
打工人花9.9万就能拥有一个机械太奶?
作者:橘总、嘴嘴首先向在大年初一还愿意点开文章的各位朋友,诚挚问一声“过年好”。朋友们,昨晚看春晚了吗?听说昨晚的春晚破了新纪录
2025-02-01 23:38:00
新春家电以旧换新选购指南(下篇):洗碗机首次进入国补名单;洗地机打起价格战
新春家电行情持续,消费者如何用好家电购新补贴? 2025年家电购新补贴延续,对于家电圈而言可谓喜闻乐见。一方面,消费者能够用更优惠的价格添置高品质的新家电
2025-01-31 22:04:00
澳大利亚科学院Branka Vucetic加入欧洲经济研究院
欢迎澳大利亚科学院院士、澳大利亚工程院院士、IEEE会士、中国政府友谊奖获得者、悉尼大学教授、悉尼大学电气与信息工程学院物联网与电信中心主任BrankaVucetic院士加入欧洲经济研究院
2025-02-01 01:09:00
本文转自:人民日报汇聚产业链条上各类高端产品——机器人搭载新算法(新春走基层)本报记者  刘诗瑶《人民日报》(2025年02月01日第 02 版)抬起手臂
2025-02-01 05:45:00
一个让小米和极氪法务都发文的汽车博主,终于……
8月份小米极氪对撞那个视频,我估计极氪当时都无语了,怎么自己吃着火锅唱着歌,这热油就扣到自己头上。以至于抽象到最终结果是
2025-02-01 16:43:00
新春走基层丨新春换新记:消费热潮“燃”起来
2025年“以旧换新”政策加力扩围,新增手机、平板、智能手表(手环)三类数码产品购新补贴。不用交旧手机,就可享受最高补贴500元
2025-02-01 22:02:00
红树林AI艺术万人展于春节启幕,探讨AI时代下的多元表达
大众网记者 潘超 青岛报道1月29日,三亚湾红树林度假世界迎来了一场隆重的艺术盛典——首届红树林AI艺术万人展暨今日未来馆AI艺术特展开幕式暨颁奖典礼举行
2025-02-01 16:01:00
长虹家纺签约奥运冠军,品质与荣耀同辉
长虹集团旗下长虹家纺荣幸地迎来了奥运冠军作为品牌代言人!这是一个令人骄傲的时刻,也是长虹家纺品牌发展历程中的重要一步。奥运冠军代表着拼搏
2025-02-01 10:03:00
信家家居集团董事长谭健民先生推动家居装饰环保理念的深度剖析
谭健民,作为信家家居集团的董事长,不仅是一位杰出的企业家,更是一位对家居装饰环保理念有着深刻理解和积极推动的行业领袖。在他的引领下
2025-01-31 20:40:00
新春家电以旧换新选购指南(上篇):空调、洗衣机均价下降;电视、油烟机涨价
新春家电行情持续,消费者如何用好家电购新补贴? 2025年家电购新补贴延续,对于家电消费市场而言可谓喜闻乐见。一方面,消费者能够用更优惠的价格添置高品质的新家电
2025-01-31 22:04:00
乙巳新春,杭州钱江新城商圈年味萦绕。31日中午11时,杭州万象城六楼“醉玖兰亭”餐厅响起了排队叫号声。餐厅品牌市场部负责人胡秋云和同事们忙得脚不着地
2025-02-01 08:52:00
华为重磅新品曝光!比三折叠手机还更科幻...
近日,华为终端BG CEO余承东在直播中主动爆料,透露了一款即将发布的重磅新品。这款神秘的产品将打破常规,足以引发全国人民的抢购热潮
2025-01-31 20:09:00
余承东晒智界R7硕大后备箱:从家乡回深圳带了两大箱子鸡蛋
快科技1月31日消息,大年初三,余承东已经从安徽老家返程回深圳,这次他开上了智界R7,想要测试一下这款汽车的能耗。路上
2025-01-31 20:09:00
春节档电影相关互撕引战频发 600余个账号被禁言
快科技1月31日消息,微博管理员发布社区公告称,站方发现,在春节档电影相关讨论中,有个别用户偏离理性讨论方向,发布拉踩引战
2025-01-31 20:09:00
智慧灯光秀为春晚舞台注入科技感
本文转自:人民网-重庆频道人民网重庆1月31日电 (记者胡虹)28日,万众期待的2025年央视蛇年春晚如期而至。在今年的春晚舞台上
2025-01-31 11:01:00