• 我的订阅
  • 头条热搜
arxiv研究人员:多模态ai模型存在安全隐患
...印象、争议性话题以及非法活动和犯罪等9个安全领域。研究人员说,大型视觉语言模型(LVLM)在接收多模态输入时很难识别SIUO类型的安全问题,在提供安全响应方面也遇到困难。在接受测试的15个LVLM中,只有GPT-4v(53.29%)、GPT...……更多
赋予人工智能更多温度
...据驱动的服务对象精准认知与最优决策技术,以及基于多模态的机器人主动服务与精准交互技术这三大核心技术,链接了物联网、精准服务分析、深度学习计算三大云端平台,实现了‘云、边、端’技术一体化和行业应用的深度...……更多
清华领衔发布多模态评估MultiTrust:GPT-4可信度有几何?
...来源何处? 近日,来自清华、北航、上交和瑞莱智慧的研究人员联合撰写百页长文,发布名为MultiTrust的综合基准,首次从多个维度和视角全面评估了主流多模态大模型的可信度,展示了其中多个潜在安全风险,启发多模态大模...……更多
首个可保留情感的音频LLM!Meta重磅开源7B-Spirit LM,一网打尽「音频+文本」多模态任务
...和文本来混合:[TEXT]the cat [SPEECH][Hu3][Hu7]..[Hu200][TEXT]the mat研究人员认为,交错训练可以帮助模型学习语音和文本之间的对应关系,从而实现更好的文本到语音的转换;在每个训练步骤中,句子中的语音和文本部分是随机采样的。...……更多
公路水路交通基础设施数字化转型升级,卓视智通准备好了
...012年成立以来就一直专注于交通视频识别及智能分析、多模态融合感知、多模态大模型等前沿技术的原创研发,并在智慧公路与交通基础设施数字化领域实现了广泛的应用落地,公司连续多年获评“AI+智慧交通”十大优秀企业、...……更多
...大量通用数据、行业数据,支持文本、图像、视频等多种模态,并打造了全流程的数据处理工具。超过700万亿字节的通用数据集可以开展通用模型训练,同时,4.33万亿字节的行业垂类数据对模型训练也极为重要。当前已知的全...……更多
MMMU华人团队更新Pro版!多模态基准升至史诗级难度:过滤纯文本问题、引入纯视觉问答
...似,但GPT-4o mini 模型的健壮性与GPT-4o相比,健壮性较差。研究人员中还探讨了 OCR 提示和思想链 (CoT) 推理的影响,结果发现 OCR 提示的影响很小,而 CoT 通常可以提高性能。MMMU-Pro:更健壮的MMMU重新审视MMMU基准测试大规模多学科...……更多
英伟达开源NVLM 1.0屠榜多模态!纯文本性能不降反升
...11402项目主页:https://nvlm-project.github.io/在模型设计方面,研究人员对纯解码器多模态大模型(如LLaVA)和基于交叉注意力的模型(如Flamingo)进行了全面对比,并根据总结出的优势和劣势,提出了一种全新架构,提升了模型的训...……更多
...内瓦1月18日电 (记者 曾焱) 世界卫生组织18日发布的多模态大模型治理相关新指南说,人工智能在医疗卫生领域应用前景广阔,但同时也要防范其中可能出现的诸如“自动化偏见”导致的过度依赖等风险。作为一项快速发展的...……更多
科学家打造多模态模型,7B和1.3B小模型均开源,可部署手机等终端
...开源 7B 模型之外,该团队同样也开源了 1.3B 的小模型。研究人员表示:“DeepSeek-VL 1.3B 小模型的性能同样强悍,在部分指标上超越了 7B 模型。” 这些小模型可以满足算力缺乏型开发者使用,也更方便在手机等移动终端上部署。...……更多
迎战GPT-4V!谷歌PaLI-3视觉语言模型问世,更小、更快、更强
...模型与相似的体积大 10 倍的模型相比具有显著竞争力。研究人员使用分类目标预训练的视觉变换器(ViT)模型与对比性预训练的模型(SigLIP)进行了比较,结果发现,PaLI-3 虽然在标准图像分类基准上略微表现不佳,但基于 SigLIP...……更多
全模态对齐框架align-anything来啦:实现跨模态指令跟随
...该团队以将「Align Anything」框架进行开源。通过该框架,研究人员不但可以利用该框架进行多模态模型的对齐实验,提高模型的训练和评估效率,还可以用该框架微调各种大模型,提升在特定任务上的表现。该框架的推出,对探...……更多
首个多模态连续学习综述,港中文、清华、UIC联合发布
...的负前向知识转移。 MMCL 算法汇总为了应对上述挑战,研究人员越来越关注 MMCL 方法。作者将 MMCL 方法分为四类主要方法,即基于正则化、基于架构、基于重放和基于提示的方法。基于正则化的方法:由于训练中参数的自由移...……更多
苹果公司公布“mm1”多模态大模型
...已有多模态基准上监督微调后也能保持有竞争力的性能。研究人员对“MM1”模型进行了测试,号称MM1-3B-Chat和MM1-7B-Chat优于市面上绝大多数相同规模的模型。MM1-3B-Chat和MM1-7B-Chat在VQAv2、TextVQA、ScienceQA、MMBench、MMMU和M……更多
...型的计算效率。SmartTrim框架结构图在训练SmartTrim模型时,研究人员采用了一种结合任务相关目标和计算开销目标的双重优化策略。通过重参数化技巧,解决了不可导二值mask的问题,实现了模型的端到端训练。此外,自蒸馏和课...……更多
多模态模型评测框架lmms-eval发布!全面覆盖,低成本,零污染
...非易事。为解决以上问题,来自南洋理工大学 LMMs-Lab 的研究人员联合开源了 LMMs-Eval,这是一个专为多模态大型模型设计的评估框架,为多模态模型(LMMs)的评测提供了一站式、高效的解决方案。代码仓库: https://github.com/EvolvingL...……更多
全球首个多模态地理科学大模型“坤元”发布:可据指令生成专业地理图表
...,中国科学院地理科学与资源研究所正式发布全球首个多模态地理科学大模型“坤元”。作为专为地理科学领域量身打造的专业语言大模型,“坤元”不仅精通地理学的精髓,更在“懂地理”、“精配图”、“知人心”、“智生...……更多
科学家开发多模态音乐理解和生成大模型,兼具理解和创作音乐能力
...”刘山松表示。在调研和确定研究现状和研究目标之后,研究人员先选用 MERT、ViT 和 ViViT 这三个特征处理器,来分别处理音乐、图像和视频输入。接着,将编码器的输出引入所选用的 LLaMA2 开源大模型,让其能够理解、处理多模...……更多
空间智能版ImageNet来了!李飞飞吴佳俊团队出品
...而道远。HourVideo如何炼成? 之所以提出HourVideo,是因为研究人员发现目前长视频理解越来越重要,而现有评估benchmark存在不足。多模态越来越卷,人们期待AI被赋予autonomous agents的类似能力;而从人类角度来看,由于人类具备处...……更多
AI安全守护计划启动!信通院牵头,AIIA安全治理委员会发布三类模型安全评测
...内容可溯源的能力。目前主要针对图片、音频和视频等多模态内容,采用隐式水印方法建立互认机制。文本内容上的实现仍有一定技术难度,后续将持续有针对性地突破。 此外,计划将通过AI保险机制,为相关人员和单位给予...……更多
多模态竞技场对标90B Llama 3.2!Pixtral 12B技术报告全公开
...立LLM裁判根据参考答案对模型的输出进行评分。本文中,研究人员构建并发布了一个名为多模态MT-Bench(MM-MT-Bench)的新基准测试,风格与纯文本的MT-Bench类似,以评估指令调整的多模态模型的性能。 MM-MT-Bench总共包含92个对话(...……更多
多模态模型免微调接入互联网,即插即用新框架,效果超闭源方案
...一些热门搜索词来对前者进行补充。第二步,问题生成。研究人员首先根据搜集到的搜索词调用搜索引擎得到相关的新闻,将新闻内容进行切分,得到多个内容片段。然后要求GPT根据内容片段自问自答,得到在第三步图像分配阶...……更多
什么影响大模型安全?NeurIPS\\\'24新研究提出大模型越狱攻击新基准
...面涵盖越狱攻击各个方面的系统性基准测试框架,旨在为研究人员提供一个标准化、全面的评估工具。△图1 JailTrackBench框架通过对七种具有代表性的越狱攻击和六种防御方法的320项实验,使用50,000 GPU小时,团队以标准化的方式...……更多
大模型“遍地”都是,谁能真正解放生产力?
...,其苦于人工标注久矣,不想再人工打标视频、图片等多模态信息。但市场现实情况是,供不应求:除了大厂以外,少有大模型团队具备多模态大模型开放能力。深耕于产业多年的考拉悠然,听到了太多客户关于大模型难以落地...……更多
【产业互联网周报】字节回应被曝秘密利用OpenAI;英特尔预告Gaudi 3将超越H100;阿里云M7蔡英华离职;马斯克回应Grok抄ChatGPT作业
...的医疗保健专用人工智能模型MedLM,旨在帮助临床医生和研究人员进行复杂的研究、总结医患互动等。此举标志着谷歌将医疗保健行业人工智能工具货币化的最新尝试。MedLM套件包括一个大型和中型AI模型,均基于Med-PaLM 2构建。Me...……更多
对比学习滥用隐私数据!中科院等发布「多步误差最小化」方法 | ACM MM2024
【新智元导读】研究人员提出了一种新颖的多步误差最小化(MEM)方法,用于生成多模态不可学习样本,以保护个人数据不被多模态对比学习模型滥用。通过优化图像噪声和文本触发器,MEM方法有效地误导模型,降低其对隐私...……更多
AI大模型赋能交通:化身“数字运维专家”,融入车管电子书
...客进行线路、票价等信息查询和快速购票,与此同时,多模态大模型能对站内的拥堵、异常情况进行实时判断,为相应的站内管控和车辆调度提供辅助决策和应急处置。全球首个发布并落地应用的交通行业大模型——佳都知行交...……更多
全球首篇!调研近400篇文献,鹏城实验室&中大深度解析具身智能
...室多智能体与具身智能研究所联合中山大学 HCP 实验室的研究人员,对具身智能的最新进展进行了全面解析,推出了多模态大模型时代的全球首篇具身智能综述。该综述调研了近 400 篇文献,从多个维度对具身智能的研究进行了...……更多
Claude 3大模型引起学界关注,业内人士:或将开启科研新范式
...网)包含三款能力逐级递增的模型,在自然语言处理、多模态整合等方面表现卓越如果讨论本世纪最激动人心且影响深远的科学技术领域,AI 必定榜上有名。以“确保变革性 AI 帮助人们和社会繁荣发展”为使命的 Anthropic,则是...……更多
让大模型能听会说,国内机构开源首个端到端语音对话模型Mini-Omni
...内容及情绪,并实时做出反馈。同时,GPT4o 也给众多语音研究人员带来「新的春天」,语音文本多模态大模型成为热门研究方向。实现类似 GPT4o 实时语音交互能力的核心是模型能够直接在语音模态上进行理解和推理,这与传统...……更多
更多关于科技的资讯:
iPhone 17系列或将保留三角形相机模组 渲染图有误?
【CNMO科技消息】近日,有关iPhone17系列设计的传闻再次引发热议。此前有报道称,至少一款iPhone17机型可能会采用水平排列的相机设计
2024-12-22 22:23:00
小米15 Pro推送澎湃OS 2新版本
【CNMO科技消息】12月18日,根据博主@懒酱的日记本的消息,小米15Pro迎来了澎湃OS2的新版本更新,版本号为OS2
2024-12-22 22:23:00
三星2024年度回顾:Galaxy AI开局 智能生态大一统
【CNMO科技】2024年已接近尾声,对于三星粉丝来说,这是非凡的一年。三星带来了很多值得期待和兴奋的更新,在很多方面
2024-12-22 22:24:00
华为Mate70系列销量有望破千万台 每代都在稳步增量
【CNMO科技消息】作为华为今年的旗舰机型,Mate70系列自发布后就有很高的关注度。12月18日,数码博主“数码闲聊站”透露了自己了解的华为Mate70系列激活量情况
2024-12-22 22:24:00
iPhone 17系列超前汇总:提前10个月参悟苹果刀法
【CNMO科技】2024年时日无多,2025年对苹果来说将是关键的一年。新款iPhoneSE4登场只是开胃小菜,最重要的是
2024-12-22 22:24:00
曝REDMI Turbo 4电池为6500mAh
【CNMO科技消息】此前,不少人认为REDMITurbo4的电池容量将超过6500mAh,甚至接近7000mAh。但12月18日
2024-12-22 22:24:00
三星S24 Ultra被评选为“2024年最佳手机”
【CNMO科技消息】据CNMO了解,国外知名科技媒体AndroidAuthority读者近日评选三星S24Ultra为“2024年最佳手机”
2024-12-22 22:24:00
一加Ace 5系列下周见 飞行棋邀请函速度感满满
一加Ace5系列将于12月26日14:30正式发布,一加手机这次会一口气发布一加Ace5和一加Ace5Pro骁龙双旗舰
2024-12-22 22:25:00
一加Ace 5 Pro支持IP65防尘防水:风里雨里都不怕
一加已经官宣,将于2024年12月26日14:30举办新品发布会,正式发布一加Ace5系列手机,包括一加Ace5和一加Ace5Pro骁龙双旗舰
2024-12-22 22:25:00
一加手表3曝光 支持ECG心电图功能、独立通信
12月20号消息,根据外媒Smartprix爆料,一加计划在明年第一季度推出全新一加手表3,依旧延续前代的设计,但是会拥有数字表冠
2024-12-22 22:25:00
联想YOGA新机曝光 采用屏下摄像头屏占比吸睛
伴随着CES2025的临近,越来越多的新品爆料信息开始在网上流传。今天X用户WalkingCat就曝光了联想一款YOGA系列新品轻薄本的外观造型
2024-12-22 22:26:00
OPPO A5 Pro太可靠 零下35度冰冻也能正常用
即将在12月24日推出的OPPOA5Pro是一款品质相当出色的手机,据OPPO方面介绍,该机支持IP66+IP68+IP69的满级防水
2024-12-22 22:26:00
汇顶科技3D超声波指纹探秘 自研技术普惠消费者
在2024年,vivoX100Ultra、iQOONeo9SPro+等机型纷纷搭载汇顶科技自主研发的3D超声波指纹方案
2024-12-22 22:27:00
联想新掌机发布会预告特别嘉宾 带来首款SteamOS掌机
此前的消息表明,联想有望在即将开幕的CES2025上带来其首款第三方SteamOS掌机。而目前已经有外媒收到了该次发布活动的邀请函
2024-12-22 22:27:00
真我明年新机或将搭载2K屏幕 同红米一加竞争?
【CNMO科技消息】近两个月来,realme真我先后发布了真我GT7Pro、真我V30Pro、真我Neo7等多款机型,带来了高通骁龙8Elite
2024-12-22 22:28:00