• 我的订阅
  • 头条热搜
arxiv研究人员:多模态ai模型存在安全隐患
...印象、争议性话题以及非法活动和犯罪等9个安全领域。研究人员说,大型视觉语言模型(LVLM)在接收多模态输入时很难识别SIUO类型的安全问题,在提供安全响应方面也遇到困难。在接受测试的15个LVLM中,只有GPT-4v(53.29%)、GPT...……更多
赋予人工智能更多温度
...据驱动的服务对象精准认知与最优决策技术,以及基于多模态的机器人主动服务与精准交互技术这三大核心技术,链接了物联网、精准服务分析、深度学习计算三大云端平台,实现了‘云、边、端’技术一体化和行业应用的深度...……更多
清华领衔发布多模态评估MultiTrust:GPT-4可信度有几何?
...来源何处? 近日,来自清华、北航、上交和瑞莱智慧的研究人员联合撰写百页长文,发布名为MultiTrust的综合基准,首次从多个维度和视角全面评估了主流多模态大模型的可信度,展示了其中多个潜在安全风险,启发多模态大模...……更多
首个可保留情感的音频LLM!Meta重磅开源7B-Spirit LM,一网打尽「音频+文本」多模态任务
...和文本来混合:[TEXT]the cat [SPEECH][Hu3][Hu7]..[Hu200][TEXT]the mat研究人员认为,交错训练可以帮助模型学习语音和文本之间的对应关系,从而实现更好的文本到语音的转换;在每个训练步骤中,句子中的语音和文本部分是随机采样的。...……更多
公路水路交通基础设施数字化转型升级,卓视智通准备好了
...012年成立以来就一直专注于交通视频识别及智能分析、多模态融合感知、多模态大模型等前沿技术的原创研发,并在智慧公路与交通基础设施数字化领域实现了广泛的应用落地,公司连续多年获评“AI+智慧交通”十大优秀企业、...……更多
一文看尽Meta开源大礼包!全面覆盖图像分割、语音、文本、表征、材料发现、密码安全性等
...强。开源链接:https://github.com/facebookresearch/sam2相比SAM2,研究人员引入了额外的数据增强技术来模拟视觉相似物体和小物体,并且通过在较长的帧序列上训练模型并对「空间」和「物体指向记忆」(object pointer memory)的位置编码...……更多
...大量通用数据、行业数据,支持文本、图像、视频等多种模态,并打造了全流程的数据处理工具。超过700万亿字节的通用数据集可以开展通用模型训练,同时,4.33万亿字节的行业垂类数据对模型训练也极为重要。当前已知的全...……更多
MMMU华人团队更新Pro版!多模态基准升至史诗级难度:过滤纯文本问题、引入纯视觉问答
...似,但GPT-4o mini 模型的健壮性与GPT-4o相比,健壮性较差。研究人员中还探讨了 OCR 提示和思想链 (CoT) 推理的影响,结果发现 OCR 提示的影响很小,而 CoT 通常可以提高性能。MMMU-Pro:更健壮的MMMU重新审视MMMU基准测试大规模多学科...……更多
英伟达开源NVLM 1.0屠榜多模态!纯文本性能不降反升
...11402项目主页:https://nvlm-project.github.io/在模型设计方面,研究人员对纯解码器多模态大模型(如LLaVA)和基于交叉注意力的模型(如Flamingo)进行了全面对比,并根据总结出的优势和劣势,提出了一种全新架构,提升了模型的训...……更多
...内瓦1月18日电 (记者 曾焱) 世界卫生组织18日发布的多模态大模型治理相关新指南说,人工智能在医疗卫生领域应用前景广阔,但同时也要防范其中可能出现的诸如“自动化偏见”导致的过度依赖等风险。作为一项快速发展的...……更多
迎战GPT-4V!谷歌PaLI-3视觉语言模型问世,更小、更快、更强
...模型与相似的体积大 10 倍的模型相比具有显著竞争力。研究人员使用分类目标预训练的视觉变换器(ViT)模型与对比性预训练的模型(SigLIP)进行了比较,结果发现,PaLI-3 虽然在标准图像分类基准上略微表现不佳,但基于 SigLIP...……更多
科学家打造多模态模型,7B和1.3B小模型均开源,可部署手机等终端
...开源 7B 模型之外,该团队同样也开源了 1.3B 的小模型。研究人员表示:“DeepSeek-VL 1.3B 小模型的性能同样强悍,在部分指标上超越了 7B 模型。” 这些小模型可以满足算力缺乏型开发者使用,也更方便在手机等移动终端上部署。...……更多
全模态对齐框架align-anything来啦:实现跨模态指令跟随
...该团队以将「Align Anything」框架进行开源。通过该框架,研究人员不但可以利用该框架进行多模态模型的对齐实验,提高模型的训练和评估效率,还可以用该框架微调各种大模型,提升在特定任务上的表现。该框架的推出,对探...……更多
首个VR端3D角色扮演AI发布!南洋理工公开SOLAMI技术报告,端到端VLA模型驱动,唱跳都能陪你玩
...稀缺的。毕竟,很少人能和蝙蝠侠面对面说过话。因此,研究人员考虑使用现有不同模态的数据进行合成。首先,研究人员基于公开的动作-文本数据集构建了一个大规模的带有语义标注的动作库,包含4万多个人体动作,然后使...……更多
首个多模态连续学习综述,港中文、清华、UIC联合发布
...的负前向知识转移。 MMCL 算法汇总为了应对上述挑战,研究人员越来越关注 MMCL 方法。作者将 MMCL 方法分为四类主要方法,即基于正则化、基于架构、基于重放和基于提示的方法。基于正则化的方法:由于训练中参数的自由移...……更多
苹果公司公布“mm1”多模态大模型
...已有多模态基准上监督微调后也能保持有竞争力的性能。研究人员对“MM1”模型进行了测试,号称MM1-3B-Chat和MM1-7B-Chat优于市面上绝大多数相同规模的模型。MM1-3B-Chat和MM1-7B-Chat在VQAv2、TextVQA、ScienceQA、MMBench、MMMU和M……更多
...型的计算效率。SmartTrim框架结构图在训练SmartTrim模型时,研究人员采用了一种结合任务相关目标和计算开销目标的双重优化策略。通过重参数化技巧,解决了不可导二值mask的问题,实现了模型的端到端训练。此外,自蒸馏和课...……更多
全球首个多模态地理科学大模型“坤元”发布:可据指令生成专业地理图表
...,中国科学院地理科学与资源研究所正式发布全球首个多模态地理科学大模型“坤元”。作为专为地理科学领域量身打造的专业语言大模型,“坤元”不仅精通地理学的精髓,更在“懂地理”、“精配图”、“知人心”、“智生...……更多
多模态模型评测框架lmms-eval发布!全面覆盖,低成本,零污染
...非易事。为解决以上问题,来自南洋理工大学 LMMs-Lab 的研究人员联合开源了 LMMs-Eval,这是一个专为多模态大型模型设计的评估框架,为多模态模型(LMMs)的评测提供了一站式、高效的解决方案。代码仓库: https://github.com/EvolvingL...……更多
科学家开发多模态音乐理解和生成大模型,兼具理解和创作音乐能力
...”刘山松表示。在调研和确定研究现状和研究目标之后,研究人员先选用 MERT、ViT 和 ViViT 这三个特征处理器,来分别处理音乐、图像和视频输入。接着,将编码器的输出引入所选用的 LLaMA2 开源大模型,让其能够理解、处理多模...……更多
空间智能版ImageNet来了!李飞飞吴佳俊团队出品
...而道远。HourVideo如何炼成? 之所以提出HourVideo,是因为研究人员发现目前长视频理解越来越重要,而现有评估benchmark存在不足。多模态越来越卷,人们期待AI被赋予autonomous agents的类似能力;而从人类角度来看,由于人类具备处...……更多
AI安全守护计划启动!信通院牵头,AIIA安全治理委员会发布三类模型安全评测
...内容可溯源的能力。目前主要针对图片、音频和视频等多模态内容,采用隐式水印方法建立互认机制。文本内容上的实现仍有一定技术难度,后续将持续有针对性地突破。 此外,计划将通过AI保险机制,为相关人员和单位给予...……更多
多模态竞技场对标90B Llama 3.2!Pixtral 12B技术报告全公开
...立LLM裁判根据参考答案对模型的输出进行评分。本文中,研究人员构建并发布了一个名为多模态MT-Bench(MM-MT-Bench)的新基准测试,风格与纯文本的MT-Bench类似,以评估指令调整的多模态模型的性能。 MM-MT-Bench总共包含92个对话(...……更多
多模态模型免微调接入互联网,即插即用新框架,效果超闭源方案
...一些热门搜索词来对前者进行补充。第二步,问题生成。研究人员首先根据搜集到的搜索词调用搜索引擎得到相关的新闻,将新闻内容进行切分,得到多个内容片段。然后要求GPT根据内容片段自问自答,得到在第三步图像分配阶...……更多
什么影响大模型安全?NeurIPS\'24新研究提出大模型越狱攻击新基准
...面涵盖越狱攻击各个方面的系统性基准测试框架,旨在为研究人员提供一个标准化、全面的评估工具。△图1 JailTrackBench框架通过对七种具有代表性的越狱攻击和六种防御方法的320项实验,使用50,000 GPU小时,团队以标准化的方式...……更多
【产业互联网周报】字节回应被曝秘密利用OpenAI;英特尔预告Gaudi 3将超越H100;阿里云M7蔡英华离职;马斯克回应Grok抄ChatGPT作业
...的医疗保健专用人工智能模型MedLM,旨在帮助临床医生和研究人员进行复杂的研究、总结医患互动等。此举标志着谷歌将医疗保健行业人工智能工具货币化的最新尝试。MedLM套件包括一个大型和中型AI模型,均基于Med-PaLM 2构建。Me...……更多
大模型“遍地”都是,谁能真正解放生产力?
...,其苦于人工标注久矣,不想再人工打标视频、图片等多模态信息。但市场现实情况是,供不应求:除了大厂以外,少有大模型团队具备多模态大模型开放能力。深耕于产业多年的考拉悠然,听到了太多客户关于大模型难以落地...……更多
对比学习滥用隐私数据!中科院等发布「多步误差最小化」方法 | ACM MM2024
【新智元导读】研究人员提出了一种新颖的多步误差最小化(MEM)方法,用于生成多模态不可学习样本,以保护个人数据不被多模态对比学习模型滥用。通过优化图像噪声和文本触发器,MEM方法有效地误导模型,降低其对隐私...……更多
AI大模型赋能交通:化身“数字运维专家”,融入车管电子书
...客进行线路、票价等信息查询和快速购票,与此同时,多模态大模型能对站内的拥堵、异常情况进行实时判断,为相应的站内管控和车辆调度提供辅助决策和应急处置。全球首个发布并落地应用的交通行业大模型——佳都知行交...……更多
全球首篇!调研近400篇文献,鹏城实验室&中大深度解析具身智能
...室多智能体与具身智能研究所联合中山大学 HCP 实验室的研究人员,对具身智能的最新进展进行了全面解析,推出了多模态大模型时代的全球首篇具身智能综述。该综述调研了近 400 篇文献,从多个维度对具身智能的研究进行了...……更多
更多关于科技的资讯:
江西热敏灸机器人获批上市 赋能百亿产业链提速
本报讯(全媒体记者李芳)10月9日,省药监局正式批准热敏灸机器人第二类医疗器械上市。这标志着江西热敏灸产业进入数智化时代
2025-10-17 07:10:00
厦门网讯 (厦门日报记者 薛尧)无人机、运动相机迎来降价潮!近日有市民发现相关热门产品价格跳水,记者走访了解到,我市多家大疆授权体验店中
2025-10-16 08:38:00
助力视弱群体畅行 公交视弱辅助系统“喊”您上车
视弱人士庄先生在公交视弱辅助系统的帮助下乘车。厦门网讯(文/图 厦门日报记者 林钦圣 通讯员 江安娜) “我们先找到并打开公交App
2025-10-16 08:38:00
10月15日晚,福州金融街商务区“亮灯”,迎接2025世界航海装备大会。
2025-10-16 08:59:00
近日,中石化石油工程设计有限公司自主研发的“管道环焊缝射线检测缺陷智能辅助评判系统”,顺利完成准确率测试。本次测试中,该系统总计检查了210张油气长输管道环焊缝射线检测底片
2025-10-16 09:03:00
当“遇到问题先到社交媒体上搜索”成为一代青少年的本能反应,当班级群、兴趣圈与直播平台深度嵌入他们的日常生活,社交网络正构成这代“数字原住民”成长的基本环境
2025-10-16 09:16:00
在人工智能技术飞速发展的今天,大模型以其强大的信息处理与泛化能力,正深刻改变医学领域的科研与临床实践。与此同时,以聚类分析
2025-10-16 09:57:00
人去世了朋友圈会消失吗?微信:对长时间不使用账号已不再回收
10月15日,“微信派”微信公众号发布最新一期播客,聊到了“真的很多人不发朋友圈了吗?”“人去世后,朋友圈会被回收吗?”等话题
2025-10-16 10:13:00
日日佳携手企知道,共同推动智能显示技术科技创新
近日,深圳日日佳显示技术有限公司(以下简称“日日佳”或“公司”)正式签约入驻企知道科创空间。作为专注于TFT-LCD模组制造的细分领域的国家高新技术企业和深圳市专精特新中小企业
2025-10-16 10:18:00
汽车测评 全球协同 | 解码C-NCAP——护航公众出行安全
当汽车从单纯的“交通工具”升级为承载多元需求的“出行载体”,是什么力量在守护这场变革的安全底线?2025世界NCAP大会即将在中国上海启幕
2025-10-16 10:50:00
花田玑密入选“2025山东省优秀兴农电商企业案例”
2025年10月16日,由山东省商务厅主办的“数商兴农庆丰收暨九九网购节”电商促消费活动在青岛莱西市人民广场隆重启动。花田玑密品牌创始人
2025-10-16 10:53:00
香港金管局公布生成式AI沙盒名单,蚂蚁数科入选技术合作伙伴
10月15日,香港金融管理局(HKMA)与香港数码港管理有限公司联合公布第二期生成式AI沙盒参与者名单。蚂蚁银行、中银香港
2025-10-16 11:24:00
卢伟冰官宣REDMI K90系列明天见!不排斥和小米直接竞争
10月16日,小米集团合伙人、总裁卢伟冰微博正式官宣,REDMI K90系列明天见。他发文透露,本次发布会是小米手机业务在旗舰新品发布季的第二篇章
2025-10-16 12:00:00
从2019年首届举办至今,VR/AR产业博览会已成为虚拟现实行业“不可或缺的重要盛事”,不仅是展示最新产品与技术的窗口
2025-10-16 12:07:00
在全球人工智能技术迅猛发展并向各领域深度渗透的背景下,高校思想政治教育作为培养时代新人的关键环节,正面临数字化转型的机遇与挑战
2025-10-16 13:40:00