• 我的订阅
  • 头条热搜
arxiv研究人员:多模态ai模型存在安全隐患
...印象、争议性话题以及非法活动和犯罪等9个安全领域。研究人员说,大型视觉语言模型(LVLM)在接收多模态输入时很难识别SIUO类型的安全问题,在提供安全响应方面也遇到困难。在接受测试的15个LVLM中,只有GPT-4v(53.29%)、GPT...……更多
赋予人工智能更多温度
...据驱动的服务对象精准认知与最优决策技术,以及基于多模态的机器人主动服务与精准交互技术这三大核心技术,链接了物联网、精准服务分析、深度学习计算三大云端平台,实现了‘云、边、端’技术一体化和行业应用的深度...……更多
清华领衔发布多模态评估MultiTrust:GPT-4可信度有几何?
...来源何处? 近日,来自清华、北航、上交和瑞莱智慧的研究人员联合撰写百页长文,发布名为MultiTrust的综合基准,首次从多个维度和视角全面评估了主流多模态大模型的可信度,展示了其中多个潜在安全风险,启发多模态大模...……更多
首个可保留情感的音频LLM!Meta重磅开源7B-Spirit LM,一网打尽「音频+文本」多模态任务
...和文本来混合:[TEXT]the cat [SPEECH][Hu3][Hu7]..[Hu200][TEXT]the mat研究人员认为,交错训练可以帮助模型学习语音和文本之间的对应关系,从而实现更好的文本到语音的转换;在每个训练步骤中,句子中的语音和文本部分是随机采样的。...……更多
公路水路交通基础设施数字化转型升级,卓视智通准备好了
...012年成立以来就一直专注于交通视频识别及智能分析、多模态融合感知、多模态大模型等前沿技术的原创研发,并在智慧公路与交通基础设施数字化领域实现了广泛的应用落地,公司连续多年获评“AI+智慧交通”十大优秀企业、...……更多
...大量通用数据、行业数据,支持文本、图像、视频等多种模态,并打造了全流程的数据处理工具。超过700万亿字节的通用数据集可以开展通用模型训练,同时,4.33万亿字节的行业垂类数据对模型训练也极为重要。当前已知的全...……更多
MMMU华人团队更新Pro版!多模态基准升至史诗级难度:过滤纯文本问题、引入纯视觉问答
...似,但GPT-4o mini 模型的健壮性与GPT-4o相比,健壮性较差。研究人员中还探讨了 OCR 提示和思想链 (CoT) 推理的影响,结果发现 OCR 提示的影响很小,而 CoT 通常可以提高性能。MMMU-Pro:更健壮的MMMU重新审视MMMU基准测试大规模多学科...……更多
英伟达开源NVLM 1.0屠榜多模态!纯文本性能不降反升
...11402项目主页:https://nvlm-project.github.io/在模型设计方面,研究人员对纯解码器多模态大模型(如LLaVA)和基于交叉注意力的模型(如Flamingo)进行了全面对比,并根据总结出的优势和劣势,提出了一种全新架构,提升了模型的训...……更多
...内瓦1月18日电 (记者 曾焱) 世界卫生组织18日发布的多模态大模型治理相关新指南说,人工智能在医疗卫生领域应用前景广阔,但同时也要防范其中可能出现的诸如“自动化偏见”导致的过度依赖等风险。作为一项快速发展的...……更多
科学家打造多模态模型,7B和1.3B小模型均开源,可部署手机等终端
...开源 7B 模型之外,该团队同样也开源了 1.3B 的小模型。研究人员表示:“DeepSeek-VL 1.3B 小模型的性能同样强悍,在部分指标上超越了 7B 模型。” 这些小模型可以满足算力缺乏型开发者使用,也更方便在手机等移动终端上部署。...……更多
迎战GPT-4V!谷歌PaLI-3视觉语言模型问世,更小、更快、更强
...模型与相似的体积大 10 倍的模型相比具有显著竞争力。研究人员使用分类目标预训练的视觉变换器(ViT)模型与对比性预训练的模型(SigLIP)进行了比较,结果发现,PaLI-3 虽然在标准图像分类基准上略微表现不佳,但基于 SigLIP...……更多
全模态对齐框架align-anything来啦:实现跨模态指令跟随
...该团队以将「Align Anything」框架进行开源。通过该框架,研究人员不但可以利用该框架进行多模态模型的对齐实验,提高模型的训练和评估效率,还可以用该框架微调各种大模型,提升在特定任务上的表现。该框架的推出,对探...……更多
首个多模态连续学习综述,港中文、清华、UIC联合发布
...的负前向知识转移。 MMCL 算法汇总为了应对上述挑战,研究人员越来越关注 MMCL 方法。作者将 MMCL 方法分为四类主要方法,即基于正则化、基于架构、基于重放和基于提示的方法。基于正则化的方法:由于训练中参数的自由移...……更多
苹果公司公布“mm1”多模态大模型
...已有多模态基准上监督微调后也能保持有竞争力的性能。研究人员对“MM1”模型进行了测试,号称MM1-3B-Chat和MM1-7B-Chat优于市面上绝大多数相同规模的模型。MM1-3B-Chat和MM1-7B-Chat在VQAv2、TextVQA、ScienceQA、MMBench、MMMU和M……更多
...型的计算效率。SmartTrim框架结构图在训练SmartTrim模型时,研究人员采用了一种结合任务相关目标和计算开销目标的双重优化策略。通过重参数化技巧,解决了不可导二值mask的问题,实现了模型的端到端训练。此外,自蒸馏和课...……更多
多模态模型评测框架lmms-eval发布!全面覆盖,低成本,零污染
...非易事。为解决以上问题,来自南洋理工大学 LMMs-Lab 的研究人员联合开源了 LMMs-Eval,这是一个专为多模态大型模型设计的评估框架,为多模态模型(LMMs)的评测提供了一站式、高效的解决方案。代码仓库: https://github.com/EvolvingL...……更多
全球首个多模态地理科学大模型“坤元”发布:可据指令生成专业地理图表
...,中国科学院地理科学与资源研究所正式发布全球首个多模态地理科学大模型“坤元”。作为专为地理科学领域量身打造的专业语言大模型,“坤元”不仅精通地理学的精髓,更在“懂地理”、“精配图”、“知人心”、“智生...……更多
科学家开发多模态音乐理解和生成大模型,兼具理解和创作音乐能力
...”刘山松表示。在调研和确定研究现状和研究目标之后,研究人员先选用 MERT、ViT 和 ViViT 这三个特征处理器,来分别处理音乐、图像和视频输入。接着,将编码器的输出引入所选用的 LLaMA2 开源大模型,让其能够理解、处理多模...……更多
空间智能版ImageNet来了!李飞飞吴佳俊团队出品
...而道远。HourVideo如何炼成? 之所以提出HourVideo,是因为研究人员发现目前长视频理解越来越重要,而现有评估benchmark存在不足。多模态越来越卷,人们期待AI被赋予autonomous agents的类似能力;而从人类角度来看,由于人类具备处...……更多
AI安全守护计划启动!信通院牵头,AIIA安全治理委员会发布三类模型安全评测
...内容可溯源的能力。目前主要针对图片、音频和视频等多模态内容,采用隐式水印方法建立互认机制。文本内容上的实现仍有一定技术难度,后续将持续有针对性地突破。 此外,计划将通过AI保险机制,为相关人员和单位给予...……更多
多模态竞技场对标90B Llama 3.2!Pixtral 12B技术报告全公开
...立LLM裁判根据参考答案对模型的输出进行评分。本文中,研究人员构建并发布了一个名为多模态MT-Bench(MM-MT-Bench)的新基准测试,风格与纯文本的MT-Bench类似,以评估指令调整的多模态模型的性能。 MM-MT-Bench总共包含92个对话(...……更多
多模态模型免微调接入互联网,即插即用新框架,效果超闭源方案
...一些热门搜索词来对前者进行补充。第二步,问题生成。研究人员首先根据搜集到的搜索词调用搜索引擎得到相关的新闻,将新闻内容进行切分,得到多个内容片段。然后要求GPT根据内容片段自问自答,得到在第三步图像分配阶...……更多
什么影响大模型安全?NeurIPS\\\'24新研究提出大模型越狱攻击新基准
...面涵盖越狱攻击各个方面的系统性基准测试框架,旨在为研究人员提供一个标准化、全面的评估工具。△图1 JailTrackBench框架通过对七种具有代表性的越狱攻击和六种防御方法的320项实验,使用50,000 GPU小时,团队以标准化的方式...……更多
大模型“遍地”都是,谁能真正解放生产力?
...,其苦于人工标注久矣,不想再人工打标视频、图片等多模态信息。但市场现实情况是,供不应求:除了大厂以外,少有大模型团队具备多模态大模型开放能力。深耕于产业多年的考拉悠然,听到了太多客户关于大模型难以落地...……更多
【产业互联网周报】字节回应被曝秘密利用OpenAI;英特尔预告Gaudi 3将超越H100;阿里云M7蔡英华离职;马斯克回应Grok抄ChatGPT作业
...的医疗保健专用人工智能模型MedLM,旨在帮助临床医生和研究人员进行复杂的研究、总结医患互动等。此举标志着谷歌将医疗保健行业人工智能工具货币化的最新尝试。MedLM套件包括一个大型和中型AI模型,均基于Med-PaLM 2构建。Me...……更多
对比学习滥用隐私数据!中科院等发布「多步误差最小化」方法 | ACM MM2024
【新智元导读】研究人员提出了一种新颖的多步误差最小化(MEM)方法,用于生成多模态不可学习样本,以保护个人数据不被多模态对比学习模型滥用。通过优化图像噪声和文本触发器,MEM方法有效地误导模型,降低其对隐私...……更多
AI大模型赋能交通:化身“数字运维专家”,融入车管电子书
...客进行线路、票价等信息查询和快速购票,与此同时,多模态大模型能对站内的拥堵、异常情况进行实时判断,为相应的站内管控和车辆调度提供辅助决策和应急处置。全球首个发布并落地应用的交通行业大模型——佳都知行交...……更多
全球首篇!调研近400篇文献,鹏城实验室&中大深度解析具身智能
...室多智能体与具身智能研究所联合中山大学 HCP 实验室的研究人员,对具身智能的最新进展进行了全面解析,推出了多模态大模型时代的全球首篇具身智能综述。该综述调研了近 400 篇文献,从多个维度对具身智能的研究进行了...……更多
Claude 3大模型引起学界关注,业内人士:或将开启科研新范式
...网)包含三款能力逐级递增的模型,在自然语言处理、多模态整合等方面表现卓越如果讨论本世纪最激动人心且影响深远的科学技术领域,AI 必定榜上有名。以“确保变革性 AI 帮助人们和社会繁荣发展”为使命的 Anthropic,则是...……更多
让大模型能听会说,国内机构开源首个端到端语音对话模型Mini-Omni
...内容及情绪,并实时做出反馈。同时,GPT4o 也给众多语音研究人员带来「新的春天」,语音文本多模态大模型成为热门研究方向。实现类似 GPT4o 实时语音交互能力的核心是模型能够直接在语音模态上进行理解和推理,这与传统...……更多
更多关于科技的资讯:
RTX 5090公版太奢华了!16+6+7相供电、14层PCB
快科技12月27日消息,RTX 5090显卡的PCB电路板、GPU核心先后曝光,现在又得到了更多细节,尤其是供电、功耗等
2024-12-27 19:08:00
张雪峰公司开年会“撒”现金:图书4个月线上卖了5000万
快科技12月27日消息,据媒体报道,近日,张雪峰公司“峰学蔚来”举办年会活动。活动现场,张雪峰现场摇奖,开启了多轮抽现金红包活动
2024-12-27 19:08:00
埃及两男子从海底偷数百件文物被捕 网友:考古队省心了
快科技12月27日消息,据报道,埃及最近逮捕两名男子,他们从海底盗取古代文物448件,其中包括硬币、雕像、斧头、青铜杯
2024-12-27 19:08:00
尊界S800为何用1.5T增程器 余承东:考虑过2.0T、但车头太重
快科技12月27日消息,鸿蒙智行首款百万级豪华轿车尊界S800已经申报,将提供纯电和增程两种动力类型,均分为双电机和三电机
2024-12-27 19:08:00
蔚来萤火虫三眼灯引争议 网友爆改出15款前脸!你觉得哪款更好看
快科技12月27日消息,在蔚来2024 NIO Day上,蔚来发布第三品牌首款车型萤火虫。萤火虫前脸采用了“三重奏”的理念
2024-12-27 19:08:00
台积电3nm拿下高通骁龙8 Elite 2订单!三星无奈瞄准骁龙8 Elite 3
快科技12月27日消息,据媒体报道,台积电近日成功夺得高通下一代处理器“骁龙8 Elite 2”的代工订单,将采用其先进的3纳米制程技术“N3P”进行量产
2024-12-27 19:08:00
《小小的我》豆瓣早期评价:易烊千玺扮脑瘫突破演技
今日,由易烊千玺主演的电影《小小的我》全国正式上映。在豆瓣早期评价中,观众们给予了不错的评价。不少观众被易烊千玺饰演的“脑瘫”主角刘春和所感动
2024-12-27 19:08:00
极越欠款3700万供应商讨债:1000多万是抵押的房子 2000多万是借的
快科技12月27日消息,据媒体报道,近期,极越欠款3700万的供应商星塘文化负责人李红星发视频疑似在线讨债。在视频中,李红星表示
2024-12-27 19:38:00
节电率53%!国内首台自主研发磁悬浮地源热泵机组投运
快科技12月27日消息,据“天瑞磁悬浮”官微发文,天瑞重工自主研发的国内首台磁悬浮离心式地源热泵机组,在山东省潍坊市某住宅小区成功开机运行
2024-12-27 19:38:00
游戏性能最高提升14%!七彩虹Z890主板迎来0x114微码更新
快科技12月27日消息,今天七彩虹宣布,旗下Z890系列主板迎来最新的0x114微码更新,为酷睿Ultra 200S系列处理器提供全新功能和性能提升
2024-12-27 19:38:00
涂鸦智能携手星环科技、思码光,重塑全屋智能影音新体验
近日,全球化云开发者平台涂鸦智能(NYSE:TUYA,HKEX:2391)与国内知名影音品牌星环科技、智能照明行业领先品牌思码光达成合作
2024-12-27 20:00:00
陕西迈入万兆时代:首位全光万兆园区用户诞生
快科技12月27日消息,近日,西安市碑林科技产业园内的陕西红顶名医堂药业有限公司成功开通了万兆宽带服务,成为陕西省首个采用50G PON解决方案的全光万兆园区用户
2024-12-27 20:08:00
万亿“宁王” 官宣赴港二次上市
万亿“宁王”,正式公布赴港上市计划。12月26,宁德时代召开第四届董事会第一次会议,逐项审议通过《关于公司发行H股股票并在香港联合交易所有限公司上市方案的议案》(下称
2024-12-27 20:08:00
小号问界M9来了!问界M8实车路试曝光:前后和M9一个样
快科技12月27日消息,今日有网友曝光了问界M8实车的路试视频。从视频中来看,问界M8的尾部造型,与“大哥”问界M9一脉相承
2024-12-27 20:08:00
NVIDIA、苹果多年恩怨纠葛大起底:从乔布斯在任就开始
快科技12月27日消息,如今随着AI的不断发展,各大公司都纷纷投入巨资抢购NVIDIA的GPU,但苹果却非NVIDIA的主要客户
2024-12-27 20:08:00