• 我的订阅
  • 头条热搜
arxiv研究人员:多模态ai模型存在安全隐患
...印象、争议性话题以及非法活动和犯罪等9个安全领域。研究人员说,大型视觉语言模型(LVLM)在接收多模态输入时很难识别SIUO类型的安全问题,在提供安全响应方面也遇到困难。在接受测试的15个LVLM中,只有GPT-4v(53.29%)、GPT...……更多
赋予人工智能更多温度
...据驱动的服务对象精准认知与最优决策技术,以及基于多模态的机器人主动服务与精准交互技术这三大核心技术,链接了物联网、精准服务分析、深度学习计算三大云端平台,实现了‘云、边、端’技术一体化和行业应用的深度...……更多
清华领衔发布多模态评估MultiTrust:GPT-4可信度有几何?
...来源何处? 近日,来自清华、北航、上交和瑞莱智慧的研究人员联合撰写百页长文,发布名为MultiTrust的综合基准,首次从多个维度和视角全面评估了主流多模态大模型的可信度,展示了其中多个潜在安全风险,启发多模态大模...……更多
公路水路交通基础设施数字化转型升级,卓视智通准备好了
...012年成立以来就一直专注于交通视频识别及智能分析、多模态融合感知、多模态大模型等前沿技术的原创研发,并在智慧公路与交通基础设施数字化领域实现了广泛的应用落地,公司连续多年获评“AI+智慧交通”十大优秀企业、...……更多
...大量通用数据、行业数据,支持文本、图像、视频等多种模态,并打造了全流程的数据处理工具。超过700万亿字节的通用数据集可以开展通用模型训练,同时,4.33万亿字节的行业垂类数据对模型训练也极为重要。当前已知的全...……更多
MMMU华人团队更新Pro版!多模态基准升至史诗级难度:过滤纯文本问题、引入纯视觉问答
...似,但GPT-4o mini 模型的健壮性与GPT-4o相比,健壮性较差。研究人员中还探讨了 OCR 提示和思想链 (CoT) 推理的影响,结果发现 OCR 提示的影响很小,而 CoT 通常可以提高性能。MMMU-Pro:更健壮的MMMU重新审视MMMU基准测试大规模多学科...……更多
英伟达开源NVLM 1.0屠榜多模态!纯文本性能不降反升
...11402项目主页:https://nvlm-project.github.io/在模型设计方面,研究人员对纯解码器多模态大模型(如LLaVA)和基于交叉注意力的模型(如Flamingo)进行了全面对比,并根据总结出的优势和劣势,提出了一种全新架构,提升了模型的训...……更多
...内瓦1月18日电 (记者 曾焱) 世界卫生组织18日发布的多模态大模型治理相关新指南说,人工智能在医疗卫生领域应用前景广阔,但同时也要防范其中可能出现的诸如“自动化偏见”导致的过度依赖等风险。作为一项快速发展的...……更多
科学家打造多模态模型,7B和1.3B小模型均开源,可部署手机等终端
...开源 7B 模型之外,该团队同样也开源了 1.3B 的小模型。研究人员表示:“DeepSeek-VL 1.3B 小模型的性能同样强悍,在部分指标上超越了 7B 模型。” 这些小模型可以满足算力缺乏型开发者使用,也更方便在手机等移动终端上部署。...……更多
迎战GPT-4V!谷歌PaLI-3视觉语言模型问世,更小、更快、更强
...模型与相似的体积大 10 倍的模型相比具有显著竞争力。研究人员使用分类目标预训练的视觉变换器(ViT)模型与对比性预训练的模型(SigLIP)进行了比较,结果发现,PaLI-3 虽然在标准图像分类基准上略微表现不佳,但基于 SigLIP...……更多
全模态对齐框架align-anything来啦:实现跨模态指令跟随
...该团队以将「Align Anything」框架进行开源。通过该框架,研究人员不但可以利用该框架进行多模态模型的对齐实验,提高模型的训练和评估效率,还可以用该框架微调各种大模型,提升在特定任务上的表现。该框架的推出,对探...……更多
首个多模态连续学习综述,港中文、清华、UIC联合发布
...的负前向知识转移。 MMCL 算法汇总为了应对上述挑战,研究人员越来越关注 MMCL 方法。作者将 MMCL 方法分为四类主要方法,即基于正则化、基于架构、基于重放和基于提示的方法。基于正则化的方法:由于训练中参数的自由移...……更多
苹果公司公布“mm1”多模态大模型
...已有多模态基准上监督微调后也能保持有竞争力的性能。研究人员对“MM1”模型进行了测试,号称MM1-3B-Chat和MM1-7B-Chat优于市面上绝大多数相同规模的模型。MM1-3B-Chat和MM1-7B-Chat在VQAv2、TextVQA、ScienceQA、MMBench、MMMU和M……更多
...型的计算效率。SmartTrim框架结构图在训练SmartTrim模型时,研究人员采用了一种结合任务相关目标和计算开销目标的双重优化策略。通过重参数化技巧,解决了不可导二值mask的问题,实现了模型的端到端训练。此外,自蒸馏和课...……更多
多模态模型评测框架lmms-eval发布!全面覆盖,低成本,零污染
...非易事。为解决以上问题,来自南洋理工大学 LMMs-Lab 的研究人员联合开源了 LMMs-Eval,这是一个专为多模态大型模型设计的评估框架,为多模态模型(LMMs)的评测提供了一站式、高效的解决方案。代码仓库: https://github.com/EvolvingL...……更多
全球首个多模态地理科学大模型“坤元”发布:可据指令生成专业地理图表
...,中国科学院地理科学与资源研究所正式发布全球首个多模态地理科学大模型“坤元”。作为专为地理科学领域量身打造的专业语言大模型,“坤元”不仅精通地理学的精髓,更在“懂地理”、“精配图”、“知人心”、“智生...……更多
科学家开发多模态音乐理解和生成大模型,兼具理解和创作音乐能力
...”刘山松表示。在调研和确定研究现状和研究目标之后,研究人员先选用 MERT、ViT 和 ViViT 这三个特征处理器,来分别处理音乐、图像和视频输入。接着,将编码器的输出引入所选用的 LLaMA2 开源大模型,让其能够理解、处理多模...……更多
空间智能版ImageNet来了!李飞飞吴佳俊团队出品
...而道远。HourVideo如何炼成? 之所以提出HourVideo,是因为研究人员发现目前长视频理解越来越重要,而现有评估benchmark存在不足。多模态越来越卷,人们期待AI被赋予autonomous agents的类似能力;而从人类角度来看,由于人类具备处...……更多
AI安全守护计划启动!信通院牵头,AIIA安全治理委员会发布三类模型安全评测
...内容可溯源的能力。目前主要针对图片、音频和视频等多模态内容,采用隐式水印方法建立互认机制。文本内容上的实现仍有一定技术难度,后续将持续有针对性地突破。 此外,计划将通过AI保险机制,为相关人员和单位给予...……更多
多模态竞技场对标90B Llama 3.2!Pixtral 12B技术报告全公开
...立LLM裁判根据参考答案对模型的输出进行评分。本文中,研究人员构建并发布了一个名为多模态MT-Bench(MM-MT-Bench)的新基准测试,风格与纯文本的MT-Bench类似,以评估指令调整的多模态模型的性能。 MM-MT-Bench总共包含92个对话(...……更多
多模态模型免微调接入互联网,即插即用新框架,效果超闭源方案
...一些热门搜索词来对前者进行补充。第二步,问题生成。研究人员首先根据搜集到的搜索词调用搜索引擎得到相关的新闻,将新闻内容进行切分,得到多个内容片段。然后要求GPT根据内容片段自问自答,得到在第三步图像分配阶...……更多
什么影响大模型安全?NeurIPS\\\'24新研究提出大模型越狱攻击新基准
...面涵盖越狱攻击各个方面的系统性基准测试框架,旨在为研究人员提供一个标准化、全面的评估工具。△图1 JailTrackBench框架通过对七种具有代表性的越狱攻击和六种防御方法的320项实验,使用50,000 GPU小时,团队以标准化的方式...……更多
大模型“遍地”都是,谁能真正解放生产力?
...,其苦于人工标注久矣,不想再人工打标视频、图片等多模态信息。但市场现实情况是,供不应求:除了大厂以外,少有大模型团队具备多模态大模型开放能力。深耕于产业多年的考拉悠然,听到了太多客户关于大模型难以落地...……更多
【产业互联网周报】字节回应被曝秘密利用OpenAI;英特尔预告Gaudi 3将超越H100;阿里云M7蔡英华离职;马斯克回应Grok抄ChatGPT作业
...的医疗保健专用人工智能模型MedLM,旨在帮助临床医生和研究人员进行复杂的研究、总结医患互动等。此举标志着谷歌将医疗保健行业人工智能工具货币化的最新尝试。MedLM套件包括一个大型和中型AI模型,均基于Med-PaLM 2构建。Me...……更多
对比学习滥用隐私数据!中科院等发布「多步误差最小化」方法 | ACM MM2024
【新智元导读】研究人员提出了一种新颖的多步误差最小化(MEM)方法,用于生成多模态不可学习样本,以保护个人数据不被多模态对比学习模型滥用。通过优化图像噪声和文本触发器,MEM方法有效地误导模型,降低其对隐私...……更多
AI大模型赋能交通:化身“数字运维专家”,融入车管电子书
...客进行线路、票价等信息查询和快速购票,与此同时,多模态大模型能对站内的拥堵、异常情况进行实时判断,为相应的站内管控和车辆调度提供辅助决策和应急处置。全球首个发布并落地应用的交通行业大模型——佳都知行交...……更多
全球首篇!调研近400篇文献,鹏城实验室&中大深度解析具身智能
...室多智能体与具身智能研究所联合中山大学 HCP 实验室的研究人员,对具身智能的最新进展进行了全面解析,推出了多模态大模型时代的全球首篇具身智能综述。该综述调研了近 400 篇文献,从多个维度对具身智能的研究进行了...……更多
Claude 3大模型引起学界关注,业内人士:或将开启科研新范式
...网)包含三款能力逐级递增的模型,在自然语言处理、多模态整合等方面表现卓越如果讨论本世纪最激动人心且影响深远的科学技术领域,AI 必定榜上有名。以“确保变革性 AI 帮助人们和社会繁荣发展”为使命的 Anthropic,则是...……更多
让大模型能听会说,国内机构开源首个端到端语音对话模型Mini-Omni
...内容及情绪,并实时做出反馈。同时,GPT4o 也给众多语音研究人员带来「新的春天」,语音文本多模态大模型成为热门研究方向。实现类似 GPT4o 实时语音交互能力的核心是模型能够直接在语音模态上进行理解和推理,这与传统...……更多
最强多模态模型GTP-4o问世,OpenAI继续开启人工智能创新之路
...和开发,发布了一系列开源工具和研究成果,为行业内的研究人员提供了宝贵的资源。随着技术的不断突破,OpenAI在多个领域都取得了显著的成果,其中包括自然语言处理、计算机视觉、强化学习等。在发展过程中,OpenAI也遇到...……更多
更多关于科技的资讯:
这种螨虫的雄性出生就死亡 而雌性却每次都进行有性生殖
寄生虫的世界非常有趣,为了配合自己寄生的生活方式,许多寄生虫在我们看来都显得非常独特!△ 蓟马在中东地区有一种叫蓟马小昆虫
2025-02-13 23:51:00
看着都疼!女子10根手指戴了10枚戒指 全部套牢卡死
快科技2月13日消息,近日,据中山消防消息,在广东省中山市第三人民医院发生了一起紧急救援事件。一名女病人因戒指卡手而急需救助
2025-02-13 23:51:00
无论百度还是阿里 这波最急的可能是苹果。。。
众所周知,每次当马云马老师这边传出来什么消息,中国互联网上都要掀起一阵波澜。这不, 11 号马云穿着马甲现身西溪园区的照片刚一刷屏
2025-02-14 00:21:00
牵手阿里后 苹果仍在继续与百度合作:为国行iPhone落地AI
快科技2月14日消息,阿里官方已经确认目前正在与苹果合作,针对中国市场进行本地化AI接入。对于能够与苹果合作,蔡崇信表示阿里非常幸运
2025-02-14 00:21:00
iPhone SE 4真要来了!库克官宣:苹果2月19日发布新品
快科技2月14日消息,库克今天突然官宣,苹果将会在2月19日发布新产品。虽然目前尚未公布具体产品,但是结合近期多方爆料来看
2025-02-14 00:21:00
科大讯飞:纯国产算力的星火X1新版本要来了 能力超OpenAI o1
快科技2月13日消息,近日,在一次机构调研中,科大讯飞透露了其最新的研发进展:公司正在全力训练的纯国产算力平台“星火X1”新版本
2025-02-14 00:21:00
比尔盖茨自述曾是熊孩子:16岁徒步数百英里 边走脑中边写BASIC代码
步入70岁之际,比尔·盖茨终于出版了自己人生中的首部自传《源代码》。不同于以往的商业发展视角,无关对微软成就的宏大叙事
2025-02-14 00:51:00
12306回应特价车票:没有查询特价车票的网页
快科技2月13日消息,近期,特价火车票引起网友热议,有媒体报道称,从大城市出发到中西部地区的部分线路及小城市之间却出现不少打折车票
2025-02-14 00:51:00
靠AI 90分钟做出来的WikiTok 维基百科+抖音会让我知识成瘾吗
如何克服狂刷短视频带来的时间黑洞?屏幕健康、数字极简都太好用。如今,出现了一个新应用,想用魔法打败魔法:不是爱刷下一条吗
2025-02-14 01:21:00
聚焦现代旅游业体系建设 | 案例 · “AI游贵州”推动智能旅游服务再升级
上海游客张妍计划今年夏天携家人来贵州避暑,提前半年规划行程。当了解到“AI游贵州”这个智能小程序后,她立马咨询AI规划了9天8晚的自驾线路
2025-02-14 01:25:00
波音737客机起飞途中与皮卡车相撞:皮卡秒变敞篷车
快科技2月14日消息,据报道,当地时间2月11日,巴西GOL航空一架737 MAX 8(PS-GPP)在巴西里约热内卢加利昂机场滑跑起飞时
2025-02-14 01:51:00
国产重载AGV加速出海
本文转自:人民日报海外版本报记者 孙 懿广东嘉腾机器人自动化有限公司生产的八十吨重载自动导引车。受访企业供图天津朗誉机器人有限公司生产的80吨智慧矿山AGV
2025-02-14 04:48:00
“你有多久没吃过徐福记”,昔日零食钉子户成时代眼泪了?
原标题 | 广东糖果大王,过了个豪横春节你有多久没吃过徐福记了?今年春节,各个超市都迎来了意料之内的排队火爆,胖东来、山姆等年后几天人山人海
2025-02-14 05:26:00
本文转自:人民日报海外版上海徐汇区大模型产业加速发展人工智能引燃“模都”“语料创新技术与应用探索沙龙活动”“多模态大模型应用研讨会”“AI赋能下的开发流程蜕变”……走进位于徐汇西岸的模速空间创新生态社区
2025-02-14 04:50:00
“年轻态”,老品牌找准新方向(经济新方位·品牌的故事(下))
本文转自:人民日报糕点联名“悟空”、童车“马卡龙”风、直播手表穿搭——“年轻态”,老品牌找准新方向(经济新方位·品牌的故事(下))本报记者  王伟健  姜泓冰  李家鼎天津电商节上
2025-02-14 06:08:00