• 我的订阅
  • 科技

智谱ai训练cogvlm2-video开源

类别:科技 发布时间:2024-07-13 01:29:00 来源:浅语科技

7月12日消息,智谱AI宣布,训练了一种新的视频理解模型CogVLM2-Video,并将其开源。

据介绍,当前大多数的视频理解模型使用帧平均和视频标记压缩方法,导致时间信息的丢失,无法准确回答与时间相关的问题。一些专注于时间问答数据集的模型过于局限于特定格式和适用领域,使得模型失去了更广泛的问答能力。

智谱ai训练cogvlm2-video开源

▲官方效果演示

智谱AI提出了一种基于视觉模型的自动时间定位数据构建方法,生成了3万条与时间相关的视频问答数据。基于这个新数据集和现有的开放领域问答数据,引入了多帧视频图像和时间戳作为编码器输入,训练出CogVLM2-Video模型。

智谱AI表示,CogVLM2-Video不仅在公共视频理解基准上达到了最新的性能,还在视频字幕生成和时间定位方面表现出色。

智谱ai训练cogvlm2-video开源

以上内容为资讯信息快照,由td.fyun.cc爬虫进行采集并收录,本站未对信息做任何修改,信息内容不代表本站立场。

快照生成时间:2024-07-13 12:45:03

本站信息快照查询为非营利公共服务,如有侵权请联系我们进行删除。

信息原文地址:

突破视频多模态大模型瓶颈!「合成数据」立大功,项目已开源
...项选择题。通过在该数据集和现有的视觉指令微调数据上训练模型,我们推出了新的视频 LMM——LLaVA-Video。实验表明
2024-10-22 09:54:00
“混战”大模型,知乎、小红书、快手各有所长
...直播电商竞争,而常年处于亏损之中。而其对AI大模型的训练,能给内容社区带来一波红利,从而反哺业务增长以及商业化加速。从以上角度来看,布局大模型,似乎已经成为了知乎、小红书、快
2023-06-13 10:00:00
游戏bug帮大模型学物理!准确率超GPT4o近4个百分点
...正常物理现象。为此,PhysVLM在专门整理的一套数据集上训练,包括用于评估的PhysGame benchmark
2024-12-07 09:53:00
连发两款模型“补课”,百度AI成色如何?
...低了计算冗余和存储开销,可提升模型长序列建模能力和训练效率,优化了长文处理能力和多轮交互表现。这和DeepSeek-V3在Transformer框架之上
2025-03-20 11:38:00
大模型到了该「验收」的时候
...力正在提升用户获取信息的效率。这背后,是大模型加速训练技术支撑,让模型迭代周期加快了30%;在迈瑞医疗产品的临床应用中,大模型能够让重症科医生病情应答快至5秒,大幅提升医疗效
2024-09-19 10:07:00
迎战GPT-4V!谷歌PaLI-3视觉语言模型问世,更小、更快、更强
...倍的模型相比具有显著竞争力。研究人员使用分类目标预训练的视觉变换器(ViT)模型与对比性预训练的模型(SigLIP)进行了比较
2023-10-17 16:31:00
全模态对齐框架align-anything来啦:实现跨模态指令跟随
...、汪明志、钟伊凡等。团队就强化学习方法及大模型的后训练对齐技术开展了一系列重要工作,包括 Aligner(NeurIPS 2024 Oral)
2024-10-18 09:47:00
星环科技分布式向量数据库Transwarp Hippo正式发布
...低等问题,让大模型更高效率地存储和读取知识库,降低训练和推理成本,激发更多的AI应用场景。在赋予大模型拥有“长期记忆”的同时,还可以协助企业解决目前最担忧的大模型数据隐私泄露
2023-06-16 16:00:00
让大模型能听会说,国内机构开源首个端到端语音对话模型Mini-Omni
...进一步加强模型的语音推理能力。另一方面,本文所采用训练方案可有效迁移至任意语言大模型,通过增加少量参数及分阶段训练,在尽可能保留模型原始推理能力的同时,为模型加上 「听、说」
2024-09-07 09:44:00
更多关于科技的资讯:
“2025年度十大新词语”16日发布,依次为:苏超、票根经济、杭州六小龙、现代化人民城市、育儿补贴、跨境支付通、对等关税
2025-12-16 14:07:00
中国联通三明分公司全力护航“音综王牌超级LIVE演唱会”通信网络畅通
开展专项通信保障工作东南网12月16日讯(通讯员 肖锦雯)密集的人流举起手机,试图捕捉舞台上的精彩瞬间,一场关于信号流畅度的保障已在观众看不见的地方悄然完成
2025-12-16 14:19:00
在国家大力推进现代化产业体系建设的宏伟蓝图下,科技创新与数字经济已成为驱动高质量发展的“双轮”。中国人寿财险江西省分公司主动融入时代潮流
2025-12-16 14:58:00
京东与国际铂金协会达成战略合作 成为其首个线上零售合作伙伴
近日,京东与国际铂金协会(PGI®)达成战略合作,成为其首个线上零售合作伙伴,双方将共同推动铂金首饰的线上消费体验升级
2025-12-16 15:17:00
服务“2030愿景”:中国AI营销平台王牌狮助推中沙数字经济务实合作
2025年12月11日,王牌狮团队在北京迎来沙特阿拉伯投资考察团,并进行了战略与技术交流。此次沙特投资考察团之行,重点关注以王牌狮AI营销智能体及建筑业垂直大模型阿拉丁ALDGPT为代表的中国数智化解决方案
2025-12-16 15:22:00
【宅男财经|专家面对面】对于近期AI换脸被滥用的问题,工业和信息化部电子科技委主任王江平12月16日接受宅男财经采访时表示
2025-12-16 18:16:00
济南市商务局携手阿里高德推“烟火济南支持计划”: 免商家开店费+精准流量扶持
鲁网12月16日讯12月16日,在高德扫街榜“烟火城市系列发布会·烟火济南”活动现场,济南市商务局、济南市工商联餐饮协会
2025-12-16 20:53:00
【宅男财经|专家面对面】泡泡玛特在国外广受欢迎,针对中国是否还会出现下一个LABUBU,中国广告协会会长、国际广告协会全球副主席张国华在接受宅男财经采访时表示
2025-12-16 21:57:00
雪博会最强指南!6.5折薅遍全球冰雪好物
12月18日至22日,第九届吉林雪博会将在长春东北亚国际博览中心举办,想一站式囤齐冰雪装备、淘遍特色好物?这份购物攻略请收好
2025-12-16 22:24:00
过去,客户经理找客户,靠的是跑园区、混商圈的经验和熟人脉;今天,打开“数智江南”App,就像打开了小微企业导航地图。这小小的转变
2025-12-17 00:05:00
江南时报讯 今年以来,泗阳农商银行坚持以客户为中心,将财富管理作为零售升级的重要方向,着力打造专业、规范、有温度的财富管理服务体系
2025-12-17 00:10:00
江南时报讯 日前,2025“悦购扬州·暖冬购物季”启动仪式暨“双十二”购物嘉年华促消费活动在扬州举行。该活动抢抓“双十二”消费节点
2025-12-17 00:14:00
黔西南州图书馆AI自习室投入使用
12月13日,黔西南州图书馆AI自习室正式投入使用。自习室以人工智能技术为核心,整合智能预约、环境调控、资源对接等多重功能
2025-12-16 22:22:00
中国网12月16日讯 据网信中国微信公众号消息,党的二十届四中全会明确坚持扩大内需这个战略基点,强调要大力提振消费,要以新需求引领新供给
2025-12-16 16:06:00
近日,瑞众人寿唐山中支围绕客服节“拾光美好·瑞意相伴”核心主题,开展了2025年客服节健康生活系列活动。通过线上线下融合
2025-12-16 16:04:00