• 我的订阅
  • 头条热搜
多模态LLM视觉推理能力堪忧,浙大领衔用GPT-4合成数据构建多模态基准
...进模型在视觉推理方面同样不足。为此他们提出了一种多模态的视觉推理基准,并设计了一种新颖的数据合成方法。无论是语言模型还是视觉模型,似乎都很难完成更抽象层次上的理解和推理任务。语言模型已经可以写诗写小说...……更多
清华领衔发布多模态评估MultiTrust:GPT-4可信度有几何?
...并实现部分专利产学研转化落地应用。以GPT-4o为代表的多模态大语言模型(MLLMs)因其在语言、图像等多种模态上的卓越表现而备受瞩目。它们不仅在日常工作中成为用户的得力助手,还逐渐渗透到自动驾驶、医学诊断等各大应...……更多
北大推出全新机器人多模态大模型!面向通用和机器人场景的高效推理和操作
...息处理全国重点实验室两大平台,长期从事机器学习、多模态学习和具身智能方向的研究。本工作第一作者为刘家铭博士,研究方向为面向开放世界的多模态具身大模型与持续性学习技术。本工作第二作者为刘梦真,研究方向为...……更多
MMMU华人团队更新Pro版!多模态基准升至史诗级难度:过滤纯文本问题、引入纯视觉问答
...候选选项、引入纯视觉输入设置)更严格地评估模型的多模态理解能力;模型在新基准上的性能下降明显,表明MMMU-Pro能有效避免模型依赖捷径和猜测策略的情况。多模态大型语言模型(MLLMs)在各个排行榜上展现的性能不断提...……更多
AI也会「刷抖音」!清华领衔发布短视频全模态理解新模型 | ICML 2024
...失函数和混合未配对音视频数据训练。该模型不仅在单一模态任务上表现优异,更在视听联合任务中展现了卓越的性能,证明了其全面性和准确性。想要看懂短视频,除了视觉内容外,语音和音频等听觉信息,如视频音乐、音效...……更多
奥林匹克竞赛里选最聪明的AI:Claude-3.5-Sonnet vs. GPT-4o?
...数据泄露,从而反映模型的真实性能。研究团队测试了多模态大模型(LMMs)和纯文本大模型(LLMs)。对于LLMs的测试,输入时不提供任何与图像相关的信息给模型,仅提供文本。所有评估均采用零样本(zero-shot)思维链(Chain of ...……更多
Bengio团队提出多模态新基准,直指Claude 3.5和GPT-4o弱点
...灵奖得主Yoshua Bengio教授。博士期间的主要工作聚焦于多模态、GFlowNet、多智能体强化学习、AI于气候变化的应用。目前已在ICML、ICLR、ICASSP等机器学习顶会发表论文。代表作为Large-scale Contrastive Language-Audio Pretrai……更多
全球首篇!调研近400篇文献,鹏城实验室&中大深度解析具身智能
...数字空间和物理世界的交互来完成复杂任务。近年来,多模态大模型和机器人技术得到了长足发展,具身智能成为全球科技和产业竞争的新焦点。然而,目前缺少一篇能够全面解析具身智能发展现状的综述。因此,鹏城实验室多...……更多
迎战GPT-4V!谷歌PaLI-3视觉语言模型问世,更小、更快、更强
...像与语音识别能力。本月初,微软更是公布了 166 页的多模态版 GPT-4V 的相关文档,详细探讨了 GPT-4V 的功能和使用情况,这一举动引起了业界的广泛关注。然而,在视觉语言模型的角逐中,谷歌也不甘示弱。 近日,Google Research...……更多
...参数的4款大语言模型,以及视觉理解、音频理解两款多模态大模型,实现“全尺寸、全模态”开源。用户可在魔搭社区直接体验Qwen系列模型效果,也可通过阿里云灵积平台调用模型API,或基于阿里云百炼平台定制大模型应用。...……更多
支付宝发布多模态医疗大模型:支持千亿级视觉识别
...快科技7月5日消息,在2024世界人工智能大会上,支付宝多模态医疗大模型正式亮相,成为国内首批多模态医疗大模型之一。据悉,该医疗大模型的基石,源自蚂蚁集团自主研发的蚂蚁百灵大模型,这一先进平台不仅拥有“视听言...……更多
突发!谷歌发布史上最强大模型Gemini,打爆GPT-4
...萨比斯在谷歌官网联名发文,宣布推出这一万众瞩目的多模态大模型。标题明晃晃写着“最大”、“最强”,主打的就是一个干爆GPT-4。具体来说,此次谷歌一共带来了Gemini的三个版本:Gemini Ultra:谷歌最大、最强模型,适用于...……更多
神仙打架!谷歌新款大模型Gemini 和GPT-4谁能笑到最后?丨科技观察
...眼镜等更多领域上的应用前景有多广阔。“Gemini是原生多模态打造,是(谷歌)通往Gmeini模型时代的第一步。”谷歌首席执行官桑达尔·皮查伊(Sundar Pichai)表示:Gemini 1.0是目前为止谷歌能力最强的通用人工智能模型。作为谷歌有...……更多
支持1024帧、准确率近100%,英伟达「LongVILA」开始发力长视频
...统、模型训练与数据集开发于一体。现阶段,将模型的多模态理解与长上下文能力相结合是非常重要的,支持更多模态的基础模型可以接受更灵活的输入信号,以便人们可以以更多样化的方式与模型交互。而更长的上下文使模型...……更多
阿里云通义千问 Qwen2-VL 第二代视觉语言模型开源
...,使得其可以更灵活高效地进行图像处理。二是使用了多模态旋转位置嵌入(M-ROPE)方法。传统的旋转位置嵌入只能捕捉一维序列的位置信息,M-ROPE 使得大规模语言模型能够同时捕捉和整合一维文本序列、二维视觉图像以及三...……更多
GPT-4劲敌,谷歌进入高能+高产模式
...与微软争相拼臂力秀肌肉。Gemini 1.5 Pro的横空出世,将多模态大模型的标准提到了一个新高度。一、极致性能背后的模型架构当地时间2月15日,Alphabet与Google公司首席执行官Sundar Pichai携首席科学家Jeff Dean等众高管在X平台发布了多...……更多
马斯克官宣Grok-2测试版!xAI将继续拥抱开源路线吗?
...来,于今年3、4月陆续推出了Grok-1.5大语言模型和首个多模态模型Grok-1.5 Vision,整体迭代速度已足够惊人。但要超越当前所有AI大模型,Grok-2要面对的问题或许远没想象中简单。所有指标超越当前AI大模型,真的假的?2023年11月,x...……更多
通义千问再放大招:720亿大模型开源,全尺寸赶上LLaMA-2,还有移动端可用的18亿模型
...阿里云也首次开源了音频理解大模型Qwen-Audio,这是在多模态领域的一次探索。Qwen-Audio能够感知和理解人声、自然声、动物声、音乐声等各类语音信号。用户可以输入一段音频,要求模型给出对音频的理解,甚至基于音频进行文...……更多
手机上能跑的「GPT-4V」来啦!多图、视频理解首次上端!面壁小钢炮开源史上最强端侧多模态
...导读】面壁小钢炮MiniCPM-V 2.6重磅出击,再次刷新端侧多模态天花板!凭借8B参数,已经取得单图、多图、视频理解三项SOTA ,性能全面对标GPT-4V。再次刷新端侧多模态天花板,面壁「小钢炮」 MiniCPM-V 2.6 模型重磅上新!仅8B参数...……更多
阿里云发布通义千问2.5,性能赶超GPT-4 Turbo
...榜首,再度证明通义开源系列业界最强的竞争力。通义多模态模型和专有能力模型也具备业界顶尖影响力。在多个多模态标准测试中,通义千问视觉理解模型Qwen-VL-Max得分超越Gemini Ultra和GPT-4V,这款模型已在多家企业落地;代码...……更多
反击OpenAI,谷歌放出最强悍大模型Gemini
... CEO戴密斯·哈萨比斯在谷歌官网联名发文,官宣了最新多模态大模型Gemini 1.0(双子星)版本正式上线。这个上线时间早于外界猜测的明年1月,保密程度很高,仅有少数媒体提前猜出。Gemini 1.0是谷歌筹备了一年之久的GPT4真正竞...……更多
GPT-4V暴露致命缺陷?JHU等发布首个多模态ToM 测试集
...来自 JHU, NYU, MIT, Harvard 等机构的研究团队开创了第一个多模态的 ToM 测试基准,发现现有的多模态模型和 LLM 都表现存在系统性缺陷,同时他们提出了一种有效的新方法。在刚结束的 ACL 2024 会议中,这篇论文获得杰出论文奖。论...……更多
苹果公司公布“mm1”多模态大模型
...omMultimodalLLMPre-training》的论文,其中介绍了一款“MM1”多模态大模型,该模型提供30亿、70亿、300亿三种参数规模,拥有图像识别和自然语言推理能力。IT之家注意到,苹果研究团队相关论文主要是利用MM1模型做实验,通过控制各...……更多
清华提出CharacterGLM;DeepMind联创发全新一代大模型;大模型版“5年高考3年模拟”来了丨AI新零售早报
...大模型版“5年高考3年模拟”来了!6141道数学题,还是多模态的那种|微软&UCLA&UW联合出品》MathVista是一个多模态数学推理基准数据集,由微软、UCLA和UW联合开发,包含6141个数学问题,涵盖丰富的任务类型、推理能力和图...……更多
21.5万张X光,78万个问题!德州大学NIH等联合发布医学视觉问答数据集Medical-CXR-VQA
【新智元导读】多模态大语言模型(MLLM)在医学视觉问答(VQA)领域展现出巨大潜力,通过提供针对医学图像的具体临床问题的回答,有助于提高医疗专业人员的工作效率。然而,现有医学VQA数据集规模较小且问题过于简单,...……更多
苹果的封闭生态为大模型打开!发布开源多模态大模型、每天为 AI 烧百万美元,零碎的 Android 生态打得过吗?
...人员于在 2023 年 10 月低调发布的一个名为 Ferret 的开源多模态大模型也没有收到太多关注。当时,该版本包含代码和权重,但仅供研究使用,而非商业许可。但随着 Mistral 开源模型备受关注、谷歌 Gemini 即将应用于 Pixel Pro 和 Andr...……更多
OpenAI o1模型到博士水平了?复旦教授:没有真正推理能力,学到的还是概率相关性
...超过90%。在启用视觉感知能力的情况下,o1模型在MMMU(多模态理解)测试中获得了78.2%的高分,成为首个能与人类专家展开竞争的AI模型。在 MMLU(大规模多任务语言理解)测试中,在总计57个子类别中,o1在54个类别上都超越了GPT...……更多
华中科技大学白翔教授发布多模态大模型
...华中科技大学软件学院白翔教授领衔的VLRLab团队发布了多模态大模型——“Monkey”。该模型号称能够实现对世界的“观察”,对图片进行深入的问答交流和精确描述。▲图源Monkey项目的GitHub页面IT之家注:多模态大模型是一类可...……更多
商汤升级“日日新5.0”大模型,对标GPT-4Turbo
...金融、数据分析等场景落地提供基础。“日日新5.0”的多模态能力在多模态大模型权威综合基准测试MMBench中综合得分排名首位,在多模态榜单MathVista、AI2D、ChartQA、TextVQA、DocVQA、MMMU中取得领先成绩。“日日新5.0”支持高清长图...……更多
背水一战狙击GPT-4,谷歌最强大模型Gemini终发布,听说读写全能选手 | 焦点分析
...布,“大杀器”Gemini 1.0,正式上线。Gemini是一个原生多模态大模型,谷歌在今年5月的I/O大会宣布开始研发后,Gemini的传说不断:将谷歌大脑和DeepMind部门合并,数百人攻坚,几乎耗尽谷歌内部计算资源……如此种种,只为和OpenA...……更多
更多关于科技的资讯:
华为全新三折叠专利公布:双铰链联动 可一次性完全展开屏幕
快科技9月20日消息,全球首款三折叠手机华为Mate XT今天已经正式开售,19999元的起售价依然被秒抢光,展示了空前热度
2024-09-20 18:24:00
超重磅企业名单一览 数百家央国企、上市公司将齐聚9.26武汉大宗供应链业务对接会!
9月26日,2024新质生产力赋能大宗商品供应链创新发展论坛超重磅拟邀参会名单一览,你想合作的对象都来了。这将是一场全国性大宗商品供应链生态企业商机对接大会
2024-09-20 19:23:00
合肥海关截获输入性蝇蛹2300余只:可传播多种疾病
9月20日消息,据媒体报道,合肥海关所属铜陵海关关员在对两批次装载铅矿石和锌矿石的入境集装箱实施检疫查验时截获蝇蛹2300余只
2024-09-20 19:24:00
新研究发现:少一颗牙大脑衰老近一岁
快科技9月20日消息,据媒体报道,一项发表在《神经科学杂志》上的研究指出,每缺失一颗牙齿,大脑的衰老程度可能接近一岁。研究团队通过定期的认知功能评估与牙齿健康状况记录
2024-09-20 19:24:00
香港小姐正式开撕!亚军回应花钱买奖人品差等传闻
《2024香港小姐竞选》决赛日前圆满结束,出炉冠亚季军分别是2号“城大李嘉欣”倪乐琳(Ellyn)、11号梁嘉莹(Emily)及4号杨梓瑶(Amina)
2024-09-20 19:24:00
历经20年 Linux主线内核终合并史诗级补丁PREEMPT_RT!微秒内响应事件
快科技9月20日消息,在2024年9月的欧洲开源峰会上,Linux创始人Linus Torvalds宣布,“PREEMPT_RT”(实时Linux)补丁已被正式合并进Linux主线内核
2024-09-20 19:24:00
风华十五载!拿声国际水润征程 声动未来
拿声国际,于2009年起碇扬帆,是目前国内唯一一家专门服务于饮用水行业的品牌营销策划公司。立业十五载,拿声国际不仅见证着众多饮用水品牌从无到有
2024-09-20 19:26:00
Lavazza跨界联名“玩”出新高度 续写上海大师赛佳话
在全球市场一体化的时代潮流中,品牌间跨界合作的营销模式屡见不鲜。这种强强联合不仅能共享资源,更能爆发出1+1大于2的效果
2024-09-20 19:26:00
李斌艾铁成共同透露:乐道第二款中大型SUV将于2025年推出
快科技9月20日消息,在9月20日的乐道品牌媒体见面会上,蔚来创始人、董事长兼CEO李斌和蔚来高级副总裁兼乐道汽车总裁艾铁成回答了关于乐道品牌发展的多个问题
2024-09-20 19:54:00
挑战世界级难题!华为主机上云方案正式发布:2秒内发现故障
快科技9月20日消息,在今天的华为全联接大会2024上,华为常务董事、华为云CEO张平安正式发布了华为主机上云解决方案
2024-09-20 19:54:00
2199元!锐龙5 7600X3D正式开卖:102MB缓存超所有Zen5
快科技9月20日消息,AMD锐龙5 7600X3D游戏处理器今日起正式在京东开卖,定价2199元,晒单还有机会赢取50元的京东E卡
2024-09-20 19:55:00
上一款改名的是骁龙888!曝高通骁龙8 Gen4又要改名:网友热议
快科技9月20日消息,博主数码闲聊站暗示,高通下一代骁龙平台不叫骁龙8 Gen4,高通会有新的命名。在评论区,不少网友给骁龙8 Gen4起名
2024-09-20 19:55:00
民宿客人住9天留下358个空酒瓶:屋内整整齐齐摆满
9月20日消息,据媒体报道,辽宁一位民宿老板娘在客人退房后收拾房间,打开房间后却被眼前一幕惊呆,房子里整整齐齐摆满了啤酒瓶子
2024-09-20 19:55:00
《黑神话:悟空》DLC剧情似泄露!美术总监杨奇暗示鹤仙人不能打
快科技9月20日消息,《黑神话:悟空》凭借其深厚的文化底蕴和出色的游戏品质,取得了令人瞩目的成绩,其中的剧情也获得了众多玩家的讨论
2024-09-20 19:55:00
北京首例花木数据资产入表 引领花卉产业数智化转型
本文转自:人民网-北京频道人民网北京9月20日电 (记者鲍聪颖)9月20日,“产业链协同下的花木产业数智化转型”研讨会暨国内首个花木数据资产入表案例发布仪式在北京花乡花木集团开启
2024-09-20 20:01:00