• 我的订阅
  • 头条热搜
GPT-4V暴露致命缺陷?JHU等发布首个多模态ToM 测试集
...来自 JHU, NYU, MIT, Harvard 等机构的研究团队开创了第一个多模态的 ToM 测试基准,发现现有的多模态模型和 LLM 都表现存在系统性缺陷,同时他们提出了一种有效的新方法。在刚结束的 ACL 2024 会议中,这篇论文获得杰出论文奖。论...……更多
多模态LLM视觉推理能力堪忧,浙大领衔用GPT-4合成数据构建多模态基准
...进模型在视觉推理方面同样不足。为此他们提出了一种多模态的视觉推理基准,并设计了一种新颖的数据合成方法。无论是语言模型还是视觉模型,似乎都很难完成更抽象层次上的理解和推理任务。语言模型已经可以写诗写小说...……更多
多模态模型评测框架lmms-eval发布!全面覆盖,低成本,零污染
...qizhixin.com随着大模型研究的深入,如何将其推广到更多的模态上已经成为了学术界和产业界的热点。最近发布的闭源大模型如 GPT-4o、Claude 3.5 等都已经具备了超强的图像理解能力,LLaVA-NeXT、MiniCPM、InternVL 等开源领域模型也展现...……更多
反击OpenAI,谷歌放出最强悍大模型Gemini
... CEO戴密斯·哈萨比斯在谷歌官网联名发文,官宣了最新多模态大模型Gemini 1.0(双子星)版本正式上线。这个上线时间早于外界猜测的明年1月,保密程度很高,仅有少数媒体提前猜出。Gemini 1.0是谷歌筹备了一年之久的GPT4真正竞...……更多
英伟达开源NVLM 1.0屠榜多模态!纯文本性能不降反升
【新智元导读】NVLM 1.0系列多模态大型语言模型在视觉语言任务上达到了与GPT-4o和其他开源模型相媲美的水平,其在纯文本性能甚至超过了LLM骨干模型,特别是在文本数学和编码基准测试中,平均准确率提高了4.3个百分点。文本...……更多
MMMU华人团队更新Pro版!多模态基准升至史诗级难度:过滤纯文本问题、引入纯视觉问答
...候选选项、引入纯视觉输入设置)更严格地评估模型的多模态理解能力;模型在新基准上的性能下降明显,表明MMMU-Pro能有效避免模型依赖捷径和猜测策略的情况。多模态大型语言模型(MLLMs)在各个排行榜上展现的性能不断提...……更多
马斯克 xAI 展示首个多模态模型 Grok-1.5V
...下旬推出 Grok-1.5 大语言模型之后,近日再次推出首个多模态模型 Grok-1.5 Vision。xAI 表示将于近期邀请早期测试者和现有的 Grok 用户测试 Grok-1.5 Vision(Grok-1.5V),不仅能理解文本,还能处理文档、图表、截图和照片中的内容。xAI ...……更多
最强国产多模态刚刚易主!腾讯混元把GPT-4/Claude-3.5都超了
国产大模型,多模态能力都开始超越GPT-4-Turbo了??权威榜单,中文多模态大模型测评基准SuperCLUE-V,新鲜出炉:特别是腾讯的hunyuan-vision、上海AI Lab的InternVL2-40B,分别成为国内闭源和开源界两大领跑者,甚至超过Claude-3.5-Sonnet..……更多
北大推出全新机器人多模态大模型!面向通用和机器人场景的高效推理和操作
...息处理全国重点实验室两大平台,长期从事机器学习、多模态学习和具身智能方向的研究。本工作第一作者为刘家铭博士,研究方向为面向开放世界的多模态具身大模型与持续性学习技术。本工作第二作者为刘梦真,研究方向为...……更多
突发!谷歌发布史上最强大模型Gemini,打爆GPT-4
...萨比斯在谷歌官网联名发文,宣布推出这一万众瞩目的多模态大模型。标题明晃晃写着“最大”、“最强”,主打的就是一个干爆GPT-4。具体来说,此次谷歌一共带来了Gemini的三个版本:Gemini Ultra:谷歌最大、最强模型,适用于...……更多
支付宝多模态医疗大模型正式亮相
...2024世界人工智能大会“可信大模型论坛”上,支付宝多模态医疗大模型正式亮相,成为国内首批多模态医疗大模型之一。据CNMO了解,支付宝医疗大模型的基座模型为蚂蚁百灵大模型。据蚂蚁集团大模型应用部总经理顾进杰介绍...……更多
AI“明星”选手巅峰对决!记者实测最新谷歌Gemini与GPT-4o
...模型能够实现无缝的文本、视频和音频输入,并生成相应模态的输出,真正意义上实现了多模态交互。紧随其后一天,年度Google I/O开发者大会如期而至,谷歌CEO Sundar Pichai宣布了一系列围绕其最新生成式AI模型Gemini的重大更新,...……更多
对比学习滥用隐私数据!中科院等发布「多步误差最小化」方法 | ACM MM2024
...出了一种新颖的多步误差最小化(MEM)方法,用于生成多模态不可学习样本,以保护个人数据不被多模态对比学习模型滥用。通过优化图像噪声和文本触发器,MEM方法有效地误导模型,降低其对隐私数据的学习能力,并在不同模...……更多
东方证券:谷歌发布多模态模型Gemini,多模态应用前景广阔
...办公、法律、医疗有望率先落地。东方证券:谷歌发布多模态模型Gemini,多模态应用前景广阔12月6日晚,谷歌正式发布了Gemini大模型,是谷歌目前最强大最通用的模型。其尺寸最大的版本GeminiUltra在32项基准测试中有30项能力都超...……更多
OpenAI「草莓」两周内发布?网传不是多模态,反应慢了10多秒
...图片,这意味着「草莓」还不像 OpenAI 其他模型那样是多模态的。目前大家见到的大模型都是多模态的,这似乎是「草莓」一个明显缺点。大家比较关心的还有定价问题。「草莓」的定价可能与 OpenAI 的聊天机器人不同,后者有...……更多
零成本突破多模态大模型瓶颈!多所美国顶尖高校华人团队,联合推出自增强技术CSR
新智元报道编辑:LRST【新智元导读】现有多模态大模型在对齐不同模态时面临幻觉和细粒度感知不足等问题,传统偏好学习方法依赖可能不适配的外源数据,存在成本和质量问题。Calibrated Self-Rewarding(CSR)框架通过自我增强学...……更多
百灵大模型多模态能力全面提升
...IT之家从蚂蚁集团获悉,蚂蚁集团自研的百灵大模型的多模态能力全面提升。多模态能力让大模型能“看”会“听”,能“说”会“画”,可支持音、视、图、文等多模态理解与生成,可以让大模型更像人一样感知和互动,未来...……更多
阿里国际发布最新开源多模态模型Ovis,多模态能力再升级
...手写英文准确翻译成中文、还能精准分析财报数据……多模态能力再次升级!今天,阿里国际AI团队发布了一款多模态大模型Ovis,在图像理解任务上不断突破极限,多种具体的子类任务中均达到了SOTA(最新技术)水平。多模态...……更多
击败Gemini-1.5-Pro、GPT-4V,从容大模型多模态能力跻身全球前三
...云从科技从容大模型在综合评测权威平台 OpenCompass 的多模态评测领域中取得重大进展。最新评测结果显示,云从科技的从容大模型在该体系中的平均得分为 65.5,这一成绩使得从容大模型跻身全球前三,超越了谷歌的 Gemini-1.5-Pro...……更多
arxiv研究人员:多模态ai模型存在安全隐患
...论文指出,包括GPT-4V、GPT-4o和Gemini1.5在内的大部分主流多模态AI模型,处理用户的多模态输入(例如一起输入图片和文本内容)之后,输出结果并不安全。这项研究标题为《跨模态安全调整》(Cross-ModalitySafetyAlignment),提出了...……更多
全国首个 成都创新团队发布机器人多模态模型
中国首个机器人多模态模型,可以相对明确地将水果和非水果进行区分和分拣如果你想吃苹果,根据语音指令,机器人会把苹果送到你手上;如果想收拾干净桌面,机器人就会把桌上所有的东西归置好……这个关于人工智能描...……更多
苹果公司公布“mm1”多模态大模型
...omMultimodalLLMPre-training》的论文,其中介绍了一款“MM1”多模态大模型,该模型提供30亿、70亿、300亿三种参数规模,拥有图像识别和自然语言推理能力。IT之家注意到,苹果研究团队相关论文主要是利用MM1模型做实验,通过控制各...……更多
清华领衔发布多模态评估MultiTrust:GPT-4可信度有几何?
...并实现部分专利产学研转化落地应用。以GPT-4o为代表的多模态大语言模型(MLLMs)因其在语言、图像等多种模态上的卓越表现而备受瞩目。它们不仅在日常工作中成为用户的得力助手,还逐渐渗透到自动驾驶、医学诊断等各大应...……更多
支付宝发布多模态医疗大模型:支持千亿级视觉识别
...快科技7月5日消息,在2024世界人工智能大会上,支付宝多模态医疗大模型正式亮相,成为国内首批多模态医疗大模型之一。据悉,该医疗大模型的基石,源自蚂蚁集团自主研发的蚂蚁百灵大模型,这一先进平台不仅拥有“视听言...……更多
2B多模态新SOTA!华科、华南理工发布Mini-Monkey,专治「切分增大分辨率」后遗症
【新智元导读】Mini-Monkey 是一个轻量级的多模态大型语言模型,通过采用多尺度自适应切分策略(MSAC)和尺度压缩机制(SCM),有效缓解了传统图像切分策略带来的锯齿效应,提升了模型在高分辨率图像处理和文档理解任务的...……更多
...学院香港创新院AI中心”),日前在香港发布医疗领域AI多模态大模型CARES Copilot1.0。据介绍,CARES Copilot系统由中国科学院香港创新院AI中心研发,是一款专为医疗领域设计的大型模型系统。该系统实现了图像、文本、语音、视频等...……更多
...藏高原研究所、中国科学院自动化研究所等单位研发的多模态地理科学大模型“坤元”(Sigma Geography)正式发布。据介绍,该大模型是专注于地理科学的专业语言大模型,具备处理地理科学相关问题的专业能力,研发团队完成了地...……更多
阿里云CTO周靖人:全面投入升级AI大基建
...模型Qwen2.5系列,同时上架语言、音频、视觉等100多款全模态模型,通义开源模型累计下载量已经突破4000万,通义原生模型和衍生模型总数超过5万,成为仅次于美国Llama的世界级模型群。打造最强AI基建不同于传统IT时代,AI时代...……更多
鬼手操控着你的手机?大模型GUI智能体易遭受环境劫持
...对用户指令的忠实性。具体而言,AI 是否能够在复杂的多模态环境中不受眼花缭乱的内容所干扰,忠实地完成用户预设的目标,是一个尚待研究的问题,也是实际应用之前必须回答的问题。针对上述问题,本文以图形用户界面智...……更多
别只盯着ChatGPT版Her,多模态AI拟人互动上,国内玩家也支棱起来了
... AI 发起挑战的高规格赛事落下了帷幕!这就是第二届多模态情感识别挑战赛(MER24),它由清华大学陶建华教授、中国科学院自动化研究所连政、帝国理工学院 Björn W.Schuller、奥卢大学赵国英以及南洋理工大学 Erik Cambra 联合在 A...……更多
更多关于科技的资讯:
盒马启用“电子验蟹师”,专挑肥满度超七成的报恩大闸蟹
秋分一过,大闸蟹长成,开始批量上市。近期,盒马的大闸蟹也正式上架,还做出了“不肥包退”的承诺。能够做到“不肥包退”,是因为今年盒马推出了首个大闸蟹分级企业标准
2025-09-24 20:37:00
康宝莱全球产品创新中心焕新启航 智驱未来 聚力共赢
2025年9月23日,上海 - 全球知名的健康公司康宝莱今日在上海举行“康宝莱全球产品创新中心”揭幕仪式。该中心由原“康宝莱中国产品创新中心”战略升级而成
2025-09-24 20:45:00
近日,由山东移动张店公司为区融媒体中心量身打造的“智慧研学服务平台”正式投入使用。该平台以信息化手段打通家长、教师、基地之间的信息壁垒
2025-09-24 20:48:00
2025第五届邹区国际照明博览会将于9月26日启幕
备受行业关注的2025第五届邹区国际照明博览会将于9月26日正式拉开帷幕,将集合全球照明领域的最新技术成果与产品,致力于促进产业链各环节的深度协作
2025-09-24 20:55:00
冲刺三季度 决胜下半年|华药(十堰)药业:AI“慧眼”识药 质效大幅提升
十堰广电讯(全媒体记者 翁红)华药(十堰市)药业有限公司中药饮片生产线项目是京堰对口协作重点招商项目。自今年6月试生产以来
2025-09-24 21:00:00
我武生物践行“实业报国,治病救人”,无偿助力“畅享呼吸”
由北京康盟慈善基金会与北京生命绿洲公益服务中心共同发起的“医药筹—畅享呼吸患者援助项目”,将于2025年10月1日起正式将援助范围扩展至甘肃省
2025-09-24 21:24:00
华为这一突破,意义非同寻常
(一)关注中国科技,我们必须关注华为;关注华为,我们必然就看到这一突破。我的第一感觉,这个突破,意义非凡。对华为来说是这样
2025-09-24 07:34:00
全球首发,钟楼智造闪耀第25届中国国际工业博览会!
9月23日第25届中国国际工业博览会(简称“工博会”)在上海盛大启幕这场聚焦“新质”展现大国工业硬核实力的博览会以“工业新质
2025-09-24 20:55:00
在制造业提质增效的浪潮中,那些藏在生产环节里的“细枝末节”,往往藏着撬动效益升级的关键密码。近日,太重包储分公司的散件箱优化项目传来捷报
2025-09-24 07:52:00
被3000亿资金哄抢的创新药企,上市首日暴涨110%
文|胡香赟编辑|海若镜港股迎来今年第11家上市的创新药公司。9月19日,劲方医药在港交所挂牌,首日涨幅接近110%、市值逼近150亿
2025-09-24 06:26:00
2025北京文化论坛“虚实无界:视听产业融合破圈”平行论坛举办
中国青年报客户端北京9月23日电(中青报·中青网记者 沈杰群)今天,2025北京文化论坛平行论坛——“虚实无界:视听产业融合破圈”在北京国际饭店会议中心举行
2025-09-24 00:03:00
中信银行南京分行成功举办“小天元”企业生态服务平台江苏区域发布会
9月22日下午,在百余家江苏企业代表的共同见证下,中信银行“小天元”企业生态服务平台江苏区域发布会暨“进万企 信服惠企”系列活动在南京成功举办
2025-09-23 23:15:00
聚焦京津冀协同发展|一个平台,推动黄骅模具迈向高端
北京市科学技术委员会牵头,京冀相关单位共建智能模具科技成果转化中试平台一个平台,推动黄骅模具迈向高端9月11日,智能模具科技成果转化中试平台工作人员正在操作四轴机床进行生产
2025-09-23 08:49:00
AI赋能千行百业一线故事(十二):数智化转型,让电厂越来越智慧
数智化转型,让电厂越来越智慧——AI赋能千行百业一线故事(十二)8月28日,石家庄良村热电有限公司生产技术部专业主管苏朝宏介绍智慧展厅
2025-09-23 08:53:00
“产业炬光灯”系列短视频首期聚焦中材航特
“产业炬光灯”系列短视频于厦门日报官方视频号、抖音号、快手号、B站账号、央视频账号等全媒体平台同步上线,首期节目走进中材航特
2025-09-23 08:58:00