• 我的订阅
  • 头条热搜
MMMU华人团队更新Pro版!多模态基准升至史诗级难度:过滤纯文本问题、引入纯视觉问答
...候选选项、引入纯视觉输入设置)更严格地评估模型的多模态理解能力;模型在新基准上的性能下降明显,表明MMMU-Pro能有效避免模型依赖捷径和猜测策略的情况。多模态大型语言模型(MLLMs)在各个排行榜上展现的性能不断提...……更多
Bengio团队提出多模态新基准,直指Claude 3.5和GPT-4o弱点
...灵奖得主Yoshua Bengio教授。博士期间的主要工作聚焦于多模态、GFlowNet、多智能体强化学习、AI于气候变化的应用。目前已在ICML、ICLR、ICASSP等机器学习顶会发表论文。代表作为Large-scale Contrastive Language-Audio Pretrai……更多
让大模型能听会说,国内机构开源首个端到端语音对话模型Mini-Omni
...zhou@jiqizhixin.com;zhaoyunfeng@jiqizhixin.com本文出自启元世界多模态算法组,共同一作是来自清华大学的一年级硕士生谢之非与启元世界多模态负责人吴昌桥,研究兴趣为多模态大模型、LLM Agents 等。本论文上线几天内在 github 上斩获 1...……更多
迎战GPT-4V!谷歌PaLI-3视觉语言模型问世,更小、更快、更强
...像与语音识别能力。本月初,微软更是公布了 166 页的多模态版 GPT-4V 的相关文档,详细探讨了 GPT-4V 的功能和使用情况,这一举动引起了业界的广泛关注。然而,在视觉语言模型的角逐中,谷歌也不甘示弱。 近日,Google Research...……更多
支付宝发布多模态医疗大模型:支持千亿级视觉识别
...快科技7月5日消息,在2024世界人工智能大会上,支付宝多模态医疗大模型正式亮相,成为国内首批多模态医疗大模型之一。据悉,该医疗大模型的基石,源自蚂蚁集团自主研发的蚂蚁百灵大模型,这一先进平台不仅拥有“视听言...……更多
英伟达开源NVLM 1.0屠榜多模态!纯文本性能不降反升
【新智元导读】NVLM 1.0系列多模态大型语言模型在视觉语言任务上达到了与GPT-4o和其他开源模型相媲美的水平,其在纯文本性能甚至超过了LLM骨干模型,特别是在文本数学和编码基准测试中,平均准确率提高了4.3个百分点。文本...……更多
支付宝多模态医疗大模型正式亮相
...2024世界人工智能大会“可信大模型论坛”上,支付宝多模态医疗大模型正式亮相,成为国内首批多模态医疗大模型之一。据CNMO了解,支付宝医疗大模型的基座模型为蚂蚁百灵大模型。据蚂蚁集团大模型应用部总经理顾进杰介绍...……更多
多模态LLM视觉推理能力堪忧,浙大领衔用GPT-4合成数据构建多模态基准
...进模型在视觉推理方面同样不足。为此他们提出了一种多模态的视觉推理基准,并设计了一种新颖的数据合成方法。无论是语言模型还是视觉模型,似乎都很难完成更抽象层次上的理解和推理任务。语言模型已经可以写诗写小说...……更多
无一大模型及格! 北大/通研院提出超难基准,评估长文本理解生成
...型及格!北大联合北京通用人工智能研究院提出了一个新基准数据集:LooGLE,专门用于测试和评估大语言模型(LLMs)长上下文理解能力。该数据集既能够评估LLMs对长文本的处理和检索能力,又可以评估其对文本长程依赖的建模...……更多
阿里国际发布最新开源多模态模型Ovis,多模态能力再升级
...手写英文准确翻译成中文、还能精准分析财报数据……多模态能力再次升级!今天,阿里国际AI团队发布了一款多模态大模型Ovis,在图像理解任务上不断突破极限,多种具体的子类任务中均达到了SOTA(最新技术)水平。多模态...……更多
文档处理效能飙升!浩鲸科技“文档大模型”核心技术揭秘!
...的整体性方案,不仅包含了文档大模型能力,还提供了多模态文档工具链 DocChain 和开箱即用的软硬件一体机,基于垂直模型能力和软硬件相互配合,可帮助企业实现文档的知识抽取、知识融合,直至知识推理和问答的全流程覆...……更多
“智算融合 共创未来”——开普云AI战略暨新产品发布会召开
...,公司的AI战略是以自主构建算力能力为底座,以开悟多模态大模型为支撑,通过中台体系的构建,实现了行业训练数据的有序治理、行业大模型的高效训练以及智能应用的敏捷开发。这一战略不仅催生了AIGC多模态内容生产平台...……更多
清华领衔发布多模态评估MultiTrust:GPT-4可信度有几何?
...并实现部分专利产学研转化落地应用。以GPT-4o为代表的多模态大语言模型(MLLMs)因其在语言、图像等多种模态上的卓越表现而备受瞩目。它们不仅在日常工作中成为用户的得力助手,还逐渐渗透到自动驾驶、医学诊断等各大应...……更多
华中科技大学白翔教授发布多模态大模型
...华中科技大学软件学院白翔教授领衔的VLRLab团队发布了多模态大模型——“Monkey”。该模型号称能够实现对世界的“观察”,对图片进行深入的问答交流和精确描述。▲图源Monkey项目的GitHub页面IT之家注:多模态大模型是一类可...……更多
突发!谷歌发布史上最强大模型Gemini,打爆GPT-4
...萨比斯在谷歌官网联名发文,宣布推出这一万众瞩目的多模态大模型。标题明晃晃写着“最大”、“最强”,主打的就是一个干爆GPT-4。具体来说,此次谷歌一共带来了Gemini的三个版本:Gemini Ultra:谷歌最大、最强模型,适用于...……更多
AI科学家太多,谁靠谱一试便知!普林斯顿新基准CORE-Bench:最强模型仅有21%准确率
...中包含不可复现的论文。 CORE-Bench的优势能力要求高、多模态(Skills and modalities)解决CORE-Bench中的任务需要多种能力,包括理解指令、调试代码、检索以及跨学科解释结果,模型只有具备这些技能才能在CORE-Bench上拿到更高分数...……更多
GPT-4V暴露致命缺陷?JHU等发布首个多模态ToM 测试集
...来自 JHU, NYU, MIT, Harvard 等机构的研究团队开创了第一个多模态的 ToM 测试基准,发现现有的多模态模型和 LLM 都表现存在系统性缺陷,同时他们提出了一种有效的新方法。在刚结束的 ACL 2024 会议中,这篇论文获得杰出论文奖。论...……更多
商汤发布开源社区最大最强多模态多任务通用大模型“书生2.5”
商汤发布开源社区最大最强多模态多任务通用大模型“书生2.5” 3月14日,商汤科技发布多模态多任务通用大模型“书生(INTERN)2.5”,在多模态多任务处理能力方面实现多项全新突破,其卓越的图文跨模态开放任务处理能力可...……更多
阿里云通义千问 Qwen2-VL 第二代视觉语言模型开源
...,使得其可以更灵活高效地进行图像处理。二是使用了多模态旋转位置嵌入(M-ROPE)方法。传统的旋转位置嵌入只能捕捉一维序列的位置信息,M-ROPE 使得大规模语言模型能够同时捕捉和整合一维文本序列、二维视觉图像以及三...……更多
多模态模型评测框架lmms-eval发布!全面覆盖,低成本,零污染
...qizhixin.com随着大模型研究的深入,如何将其推广到更多的模态上已经成为了学术界和产业界的热点。最近发布的闭源大模型如 GPT-4o、Claude 3.5 等都已经具备了超强的图像理解能力,LLaVA-NeXT、MiniCPM、InternVL 等开源领域模型也展现...……更多
GPT-4劲敌,谷歌进入高能+高产模式
...与微软争相拼臂力秀肌肉。Gemini 1.5 Pro的横空出世,将多模态大模型的标准提到了一个新高度。一、极致性能背后的模型架构当地时间2月15日,Alphabet与Google公司首席执行官Sundar Pichai携首席科学家Jeff Dean等众高管在X平台发布了多...……更多
奥林匹克竞赛里选最聪明的AI:Claude-3.5-Sonnet vs. GPT-4o?
...数据泄露,从而反映模型的真实性能。研究团队测试了多模态大模型(LMMs)和纯文本大模型(LLMs)。对于LLMs的测试,输入时不提供任何与图像相关的信息给模型,仅提供文本。所有评估均采用零样本(zero-shot)思维链(Chain of ...……更多
背水一战狙击GPT-4,谷歌最强大模型Gemini终发布,听说读写全能选手 | 焦点分析
...布,“大杀器”Gemini 1.0,正式上线。Gemini是一个原生多模态大模型,谷歌在今年5月的I/O大会宣布开始研发后,Gemini的传说不断:将谷歌大脑和DeepMind部门合并,数百人攻坚,几乎耗尽谷歌内部计算资源……如此种种,只为和OpenA...……更多
击败Gemini-1.5-Pro、GPT-4V,从容大模型多模态能力跻身全球前三
...云从科技从容大模型在综合评测权威平台 OpenCompass 的多模态评测领域中取得重大进展。最新评测结果显示,云从科技的从容大模型在该体系中的平均得分为 65.5,这一成绩使得从容大模型跻身全球前三,超越了谷歌的 Gemini-1.5-Pro...……更多
AIGC工具测评:生成式AI的产品表现如何
...力上也有了重大突破。更值得一提的是,GPT-4引入了“多模态”功能,支持图像和语音输入,甚至可以输出图片,大大拓宽了其应用范围。界面体验ChatGPT-4的用户界面呈现了现代化和直观的设计风格,其简洁的设计语言和优化的...……更多
21.5万张X光,78万个问题!德州大学NIH等联合发布医学视觉问答数据集Medical-CXR-VQA
【新智元导读】多模态大语言模型(MLLM)在医学视觉问答(VQA)领域展现出巨大潜力,通过提供针对医学图像的具体临床问题的回答,有助于提高医疗专业人员的工作效率。然而,现有医学VQA数据集规模较小且问题过于简单,...……更多
科大讯飞股价跌停,市值蒸发120亿元
...升9%,其次是逻辑推理(8%),文本生成、知识问答、多模态能力则均只有7%。此前科大讯飞在8月15日发布星火V2.0时,七大能力大幅度提升,其中语言理解能力提升78%,文本生成、知识问答、数学能力等提升也超70%,逻辑推理能...……更多
Gemini 开启大模型路线之争,新战场将“数流成河”
...一种可能性:具有原生数据优势的互联网巨头,可能在多模态大模型竞争中占据优势。这意味着,谷歌、马斯克、Meta以及中国的腾讯、抖音、阿里、百度等公司都有可能在Gemini 开创的路线上加速迭代大模型。大模型战局,进入...……更多
360智脑7b参数模型采用3.4万亿tokens训练
...任务、中英双语、针对大语言模型长文本理解能力的评测基准)测试中,360选择其中与中文长文本应用最密切相关的中文单文档问答、多文档问答、摘要、Few-shot等任务进行评测,360Zhinao-7B-Chat-32K模型取得了平均分第一的成绩。...……更多
通义千问再放大招:720亿大模型开源,全尺寸赶上LLaMA-2,还有移动端可用的18亿模型
...阿里云也首次开源了音频理解大模型Qwen-Audio,这是在多模态领域的一次探索。Qwen-Audio能够感知和理解人声、自然声、动物声、音乐声等各类语音信号。用户可以输入一段音频,要求模型给出对音频的理解,甚至基于音频进行文...……更多
更多关于科技的资讯:
苹果突然打退堂鼓:据称已退出OpenAI本轮融资谈判
据媒体周五报道,苹果公司已退出了OpenAI融资轮的谈判,该轮融资预计将筹集65亿美元。媒体援引一位知情人士的话报道称
2024-09-28 17:32:00
董宇辉:不要妖魔化食品添加剂 国标范围内就没啥
快科技9月28日消息,近日董宇辉公开表示,不要妖魔化食品添加剂,国标范围内就没啥。董宇辉近期谈及食品添加剂时表示,第一大量添加剂只要在国标范围内
2024-09-28 18:02:00
鸿蒙智行傲界改名尊界 余承东:傲在中华传统文化里不太谦虚
快科技9月28日消息,余承东与马东直播时透露了鸿蒙智行傲界改名尊界的原因。余承东提到,尊界原命名为“傲界”,但傲这个字在中华传统文化里不太谦虚
2024-09-28 18:02:00
合肥光电半导体产业技术研究院三项目亮相科创展会
大皖新闻讯 9月26日,由合肥科创(人才)集团主办的2024合肥科创展会在合肥高新区中国声谷举办。来自合肥光电半导体产业技术研究院的“混合动力倾转旋翼复合翼eVTOL项目”“永磁
2024-09-28 18:16:00
华为云数字化技术发展沙龙在大渡口举行
9月27日消息,随着数字重庆建设的持续推进,软件产业与数据安全已成为城市发展的两大支柱。近日,一场主题为“推动软信产业发展
2024-09-28 18:19:00
华为pura70ultra到底有多牛?看完你就明白了
话说回来,华为此举可不只是为了和苹果“较劲”才这样无底线“降价”,作为国产手机品牌的骄傲,华为一直致力于将最前沿的技术带给消费者
2024-09-28 18:57:00
骁龙8 Gen4/天玑9400旗舰涨价板上钉钉了:有厂商拟定价4299元
快科技9月28日消息,有博主爆料,有厂商的迭代旗舰拟定价4299元(12GB+256GB),该博主还称,大部分新旗舰都将会涨价
2024-09-28 19:02:00
第三届中国抗衰大会开幕,GRANVER 吉返盾助力科学养老
“第三届中国抗衰老大会暨新质生产力推动抗衰老产业发展高峰论坛”近期在山东济南隆重开幕,大会以”科技引领抗衰老,新质生产力推动产业发展”为主题
2024-09-28 19:31:00
因殴打博主引发关注!网红东北雨姐夫妻实控约30家企业
9月28日消息,微博话题“东北雨姐夫妻实控约30家企业”冲上热搜榜,引发关注。据媒体报道,9月23日,打假博主“大娃”和“赏金猎人灰烬”爆料称
2024-09-28 19:32:00
鸿蒙智行“丈量祖国大好河山”活动隆重启动
在北京这座古韵今风交相辉映的城市里,随着金秋九月的尾声,9月28日这一天,一场盛大的发车仪式在永定门城楼下隆重举行,标志着鸿蒙智行与中国探险协会联合举办的“丈量祖国大美山河”活动正式拉开帷幕
2024-09-28 19:38:00
丈量祖国大美山河,何以鸿蒙智行?
翻开汽车工业百年历史,全球经历了一场又一场的巨变,汽车工业中心也在不断变迁。而在当今的新能源时代,中国新能源汽车正在引领全球创新
2024-09-28 19:40:00
“滴灌之星”系统开启数字化运营新篇章
9月28日消息,滴灌通澳交所发布“滴灌之星”系统,开启数字化运营新篇章。该系统旨在通过数字化手段,丰富交易产品,提升市场效率
2024-09-28 19:53:00
中国电商平台正式迈入互联互通新时代
9月28日消息,近期,中国电商领域掀起互联互通的新浪潮,各大头部平台纷纷打破壁垒,展开新一轮的合作。继淘宝天猫宣布支持微信支付后
2024-09-28 19:54:00
余承东揭秘鸿蒙智行旗下“傲界”更名原因
9月28日消息,余承东与马东在近期的直播中,揭秘了鸿蒙智行旗下车型从“傲界”更名为“尊界”的背后原因。据余承东透露,原命名中的“傲”字在中华文化中显得不够谦逊
2024-09-28 19:55:00
上海国际汽车城内的智慧出行设计谷正成为行业焦点
9月28日消息,上海国际汽车城内的智慧出行设计谷正成为行业焦点,汇聚了众多智慧出行领域的先锋力量。近日,国际智慧出行设计大会暨CCDIS中国汽车设计(国际)峰会在嘉定区隆重召开
2024-09-28 19:56:00