• 我的订阅
  • 科技

智谱ai训练cogvlm2-video开源

类别:科技 发布时间:2024-07-13 01:29:00 来源:浅语科技

7月12日消息,智谱AI宣布,训练了一种新的视频理解模型CogVLM2-Video,并将其开源。

据介绍,当前大多数的视频理解模型使用帧平均和视频标记压缩方法,导致时间信息的丢失,无法准确回答与时间相关的问题。一些专注于时间问答数据集的模型过于局限于特定格式和适用领域,使得模型失去了更广泛的问答能力。

智谱ai训练cogvlm2-video开源

▲官方效果演示

智谱AI提出了一种基于视觉模型的自动时间定位数据构建方法,生成了3万条与时间相关的视频问答数据。基于这个新数据集和现有的开放领域问答数据,引入了多帧视频图像和时间戳作为编码器输入,训练出CogVLM2-Video模型。

智谱AI表示,CogVLM2-Video不仅在公共视频理解基准上达到了最新的性能,还在视频字幕生成和时间定位方面表现出色。

智谱ai训练cogvlm2-video开源

以上内容为资讯信息快照,由td.fyun.cc爬虫进行采集并收录,本站未对信息做任何修改,信息内容不代表本站立场。

快照生成时间:2024-07-13 12:45:03

本站信息快照查询为非营利公共服务,如有侵权请联系我们进行删除。

信息原文地址:

突破视频多模态大模型瓶颈!「合成数据」立大功,项目已开源
...项选择题。通过在该数据集和现有的视觉指令微调数据上训练模型,我们推出了新的视频 LMM——LLaVA-Video。实验表明
2024-10-22 09:54:00
“混战”大模型,知乎、小红书、快手各有所长
...直播电商竞争,而常年处于亏损之中。而其对AI大模型的训练,能给内容社区带来一波红利,从而反哺业务增长以及商业化加速。从以上角度来看,布局大模型,似乎已经成为了知乎、小红书、快
2023-06-13 10:00:00
游戏bug帮大模型学物理!准确率超GPT4o近4个百分点
...正常物理现象。为此,PhysVLM在专门整理的一套数据集上训练,包括用于评估的PhysGame benchmark
2024-12-07 09:53:00
连发两款模型“补课”,百度AI成色如何?
...低了计算冗余和存储开销,可提升模型长序列建模能力和训练效率,优化了长文处理能力和多轮交互表现。这和DeepSeek-V3在Transformer框架之上
2025-03-20 11:38:00
大模型到了该「验收」的时候
...力正在提升用户获取信息的效率。这背后,是大模型加速训练技术支撑,让模型迭代周期加快了30%;在迈瑞医疗产品的临床应用中,大模型能够让重症科医生病情应答快至5秒,大幅提升医疗效
2024-09-19 10:07:00
迎战GPT-4V!谷歌PaLI-3视觉语言模型问世,更小、更快、更强
...倍的模型相比具有显著竞争力。研究人员使用分类目标预训练的视觉变换器(ViT)模型与对比性预训练的模型(SigLIP)进行了比较
2023-10-17 16:31:00
全模态对齐框架align-anything来啦:实现跨模态指令跟随
...、汪明志、钟伊凡等。团队就强化学习方法及大模型的后训练对齐技术开展了一系列重要工作,包括 Aligner(NeurIPS 2024 Oral)
2024-10-18 09:47:00
星环科技分布式向量数据库Transwarp Hippo正式发布
...低等问题,让大模型更高效率地存储和读取知识库,降低训练和推理成本,激发更多的AI应用场景。在赋予大模型拥有“长期记忆”的同时,还可以协助企业解决目前最担忧的大模型数据隐私泄露
2023-06-16 16:00:00
让大模型能听会说,国内机构开源首个端到端语音对话模型Mini-Omni
...进一步加强模型的语音推理能力。另一方面,本文所采用训练方案可有效迁移至任意语言大模型,通过增加少量参数及分阶段训练,在尽可能保留模型原始推理能力的同时,为模型加上 「听、说」
2024-09-07 09:44:00
更多关于科技的资讯:
腾讯汤道生达沃斯谈AI:AI不止AGI,把模型选择权交给客户,不让任何人掉队
“当人们谈论AI时,可能倾向于把它想象一个庞大的超级系统,称之为AGI,但实际上,现实中却是多种不同的模型,服务于不同的场景
2026-01-25 20:42:00
江南时报讯 为深入提升客户服务体验,扎实推进财富管理业务发展,东台农商银行近日携手中国人寿东台支公司,共同举办“感恩同行·鸿耀添彩”VIP客户财富私享活动
2026-01-25 22:12:00
江南时报讯 为全面提升代销保险业务服务能力,规范操作流程,切实推动零售业务转型升级,近日,响水农商银行组织开展代销保险业务专项培训
2026-01-25 22:12:00
1月23日,南京网络文学及短剧企业剧本转化供需对接会在宁举行。活动汇聚知名网文作家、产业链核心企业及金融机构等多方嘉宾
2026-01-25 22:53:00
日照市举行2026年数码和智能产品购新补贴启动仪式
鲁网1月24日讯(记者 郑泽之)为深入贯彻中央经济工作会议精神,落实省市提振消费工作部署,进一步激活市场活力,搭建 “金融
2026-01-25 14:55:00
苏州制造名品好物生活节举办
1月24日至25日,为期两天的“苏州制造名品好物生活节”在苏州制造名品中心举办。本次活动以“苏州好物 名品上新”为主题
2026-01-25 13:34:00
2026委员通道丨林杰:让工业具身智能 “落地生根”助力“数智强省”建设
大河网讯 2025 年“具身智能”冲上了年度热词,而河南也正以“数智强省”为目标加速迈进“十五五”。1月25日,在河南省政协十三届四次会议“委员通道”上
2026-01-25 08:24:00
浙江日报讯 近日,丽缙高新区,浙江氢阳能源装备有限公司董事长黄刚向记者分享了一则喜讯:该公司首批50余个氢能两轮车固态储氢瓶产品小批量测试顺利完成
2026-01-25 08:48:00
当煤价下行的寒意与成本上涨的压力双重叠加,煤炭行业正经历一场前所未有的经营大考。如何在市场波动中稳住经营基本盘?怎样在双线挤压下答好逆势增长“优”答卷
2026-01-25 07:32:00
零的突破!云知声中标全国首个省级医保大模型项目,打通医保治理现代化“最后一公里”
2026年开年,智慧医保领域迎来里程碑式突破——云知声智能科技股份有限公司成功中标全国首个省级医保垂直大模型项目“江苏省医保垂直大模型及智能体应用项目”
2026-01-24 17:26:00
香港大学中国商业学院2026年专业研究生文凭课程火热招生中
香港大学中国商业学院2026年专业研究生文凭课程全面启动招生!课程涵盖人工智能、创新管理、增长营销、财务金融、人力资源等前沿及核心商管领域
2026-01-24 17:27:00
当哲思遇见科技:华为阅读携手周国平,探讨如何在独处中沉淀自我
在信息纷扰、节奏加速的时代,何处寻得一方宁静,让思想深度扎根?华为阅读联合北京广播电视台纪实科教频道《我们读书吧》第二季
2026-01-24 17:29:00
1月8日,深圳市精锋医疗科技股份有限公司(以下简称精锋医疗)在香港联合交易所主板成功挂牌上市,成为2026年深圳IPO“第一股”
2026-01-24 17:29:00
赋能普惠,引领向善:龙环汇丰实践获公益节大奖肯定
1月22日,第十五届公益节暨2025ESG影响力年会在北京盛大开幕。本届大会以“15年,共益新篇章”为主题,回顾中国公益事业十五年发展历程
2026-01-24 17:30:00