• 我的订阅
  • 科技

DeepSeek-VL2 开源:AI视觉模型迈入 MoE 时代

类别:科技 发布时间:2024-12-16 09:33:00 来源:IT之家

IT之家 12 月 14 日消息,DeepSeek 官方公众号昨日(12 月 13 日)发布博文,宣布开源 DeepSeek-VL2 模型,在各项评测指标上均取得了极具优势的成绩,官方称其视觉模型正式迈入混合专家模型(Mixture of Experts,简称 MoE)时代。

DeepSeek-VL2 开源:AI视觉模型迈入 MoE 时代

IT之家援引官方新闻稿,附上 DeepSeek-VL2 亮点如下:

数据:比一代 DeepSeek-VL 多一倍优质训练数据,引入梗图理解、视觉定位、视觉故事生成等新能力

架构:视觉部分使用切图策略支持动态分辨率图像,语言部分采用 MoE 架构低成本高性能

训练:继承 DeepSeek-VL 的三阶段训练流程,同时通过负载均衡适配图像切片数量不定的困难,对图像和文本数据使用不同流水并行策略,对 MoE 语言模型引入专家并行,实现高效训练

DeepSeek-VL2 模型支持动态分辨率,仅使用一个 SigLIP-SO400M 作为图像编码器,通过将图像切分为多张子图和一张全局缩略图来实现动态分辨率图像支持。这一策略让 DeepSeek-VL2 最多支持 1152x1152 的分辨率和 1:9 或 9:1 的极端长宽比,适配更多应用场景。

DeepSeek-VL2 模型还得益于更多科研文档数据的学习,可以轻松理解各种科研图表,并通过 Plot2Code,根据图像生成 Python 代码。

DeepSeek-VL2 开源:AI视觉模型迈入 MoE 时代

DeepSeek-VL2 开源:AI视觉模型迈入 MoE 时代

DeepSeek-VL2 开源:AI视觉模型迈入 MoE 时代

DeepSeek-VL2 开源:AI视觉模型迈入 MoE 时代

DeepSeek-VL2 开源:AI视觉模型迈入 MoE 时代

DeepSeek-VL2 开源:AI视觉模型迈入 MoE 时代

DeepSeek-VL2 开源:AI视觉模型迈入 MoE 时代

模型和论文均已发布:

模型下载:https://huggingface.co/deepseek-ai

GitHub 主页:https://github.com/deepseek-ai/DeepSeek-VL2

以上内容为资讯信息快照,由td.fyun.cc爬虫进行采集并收录,本站未对信息做任何修改,信息内容不代表本站立场。

快照生成时间:2024-12-16 11:45:02

本站信息快照查询为非营利公共服务,如有侵权请联系我们进行删除。

信息原文地址:

迎战GPT-4V!谷歌PaLI-3视觉语言模型问世,更小、更快、更强
...的研究,可能推动新一代规模更大的模型的发展。 更高分辨率的多模态学习最近,大型视觉语言模型在其更大的模型中使用预训练的图像编码器
2023-10-17 16:31:00
英伟达开源NVLM 1.0屠榜多模态!纯文本性能不降反升
...无法直接进行模型对比和研究。并且,不同模型在处理高分辨率图像输入时的设计(如动态高分辨率)虽然可以提高了与OCR相关的任务(例如,OCRBench)的性能,但与低分辨率版本模
2024-09-24 13:36:00
阿里云通义千问 Qwen2-VL 第二代视觉语言模型开源
...,相比上代模型,Qwen2-VL 的基础性能全面提升:读懂不同分辨率和不同长宽比的图片,在 DocVQA、RealWorldQA
2024-09-03 09:45:00
OpenAI发布文生视频模型Sora,奥尔特曼选取网友提示词
...为了解决Transformer架构核心组件注意力机制的长文本、高分辨率图像处理等问题,扩散模型用可扩展性更强的状态空间模型(SSM)主干替代了传统架构中的注意力机制
2024-02-16 18:44:00
多模态竞技场对标90B Llama 3.2!Pixtral 12B技术报告全公开
...了一个全新的视觉编码器。基于此,Pixtral 12B输入图片的分辨率和长宽比不受任何限制,并且在128K的上下文窗口范围内
2024-11-20 09:43:00
2B多模态新SOTA!华科、华南理工发布Mini-Monkey,专治「切分增大分辨率」后遗症
...解了传统图像切分策略带来的锯齿效应,提升了模型在高分辨率图像处理和文档理解任务的性能。它在多项基准测试中取得了领先的成绩,证明了其在多模态理解和文档智能领域的潜力。最近,提升
2024-08-13 09:42:00
metareality推出sapiensai视觉模型
...几何形状非常有价值。Meta公司表示该模型可原生支持1K高分辨率推理,并且非常容易针对个别任务进行调整,只需在超过3亿张野生人类图像上对模型进行预训练即可。即使在标注数据稀缺
2024-08-25 02:39:00
惊掉下巴!被字节起诉800万实习生,拿下NeurIPS 2024最佳论文
...回归学习,采用粗到细的「下一个尺度预测」或「下一个分辨率预测」。 这种简单直观的方法使得自回归(AR)Transformer能够快速学习视觉分布
2024-12-05 09:47:00
超越扩散模型!自回归新范式仅需2.9秒就生成高质量图像
...1、文本特征作为起始token map,根据起始token map生成更高分辨率的token map这不仅增强了模型对新文本场景的适应性
2024-06-27 09:17:00
更多关于科技的资讯:
出海再提速!锦江酒店(中国区)宣布旗下7天酒店出海,同日签约10个项目
锦江酒店(中国区)规模化出海再次迎来关键节点。10月31日,其于深圳正式宣布,国民品牌7天酒店将进军东南亚市场。这是继今年8月底
2025-11-01 10:02:00
10月28日,亚洲国际动力传动与控制技术展览会(PTC ASIA 2025)在上海新国际博览中心启幕。近1800家海内外知名展商齐聚
2025-11-01 07:03:00
正式发布!视源股份牵头制定《娱乐用车载显示系统图像质量技术规范》团体标准
2025年10月23日,在全国音频、视频及多媒体系统与设备标准化技术委员会(SAC/TC 242)商用显示标准研究组第六次全会暨标准研讨会上
2025-10-31 08:20:00
中感集团煤仓安全综合解决方案亮相中国国际煤炭采矿展,以系统性创新重塑矿山作业安全
在北京举行的第21届中国国际煤炭采矿技术交流与设备展览会上,中感集团创新展示的“煤仓安全综合解决方案”引发行业高度关注
2025-10-31 08:51:00
人工智能产业决胜与 Data&AI 数据基础设施建设——科杰科技于洋中国国际数字经济博览会主题演讲
2025中国国际数字经济博览会在石家庄国际会展中心开幕。科杰科技董事长于洋受邀出席2025首席数据官峰会论坛,并作主题为《人工智能产业决胜与 Data&
2025-10-31 08:51:00
■加快构建覆盖全域、经济适用、安全可靠的数字技术支撑体系,着力打通数据壁垒与业务断点,促进产业链各环节融通发展■建立功能完善
2025-10-31 09:05:00
在数字化、网络化、智能化的当下,图书馆的角色和功能正在发生深刻变化。究竟什么样的图书馆更“聪明”?近日,第五届长三角公共图书馆发展论坛在上海举行
2025-10-31 09:05:00
Mutual妙趣艺:全球战略+资源整合,打造文娱IP数字资产化标杆
Mutual妙趣艺于2020年成立于美国加州,专注于文娱IP(知识产权)数字资产化领域。公司的核心定位是打造“数字资产领域的AWS”
2025-10-31 10:57:00
鲁网10月31日讯近日,“2025年第四届移动网络高质量发展论坛”在北京盛大启幕。在本次论坛上,工业和信息化部委托中国信通院权威发布了2024年“全国百城重点区域移动网络质量专项评测结果”
2025-10-31 11:43:00
人工智能(AI)是新一轮科技革命和产业变革的重要驱动力量,广西聚焦国家所需、广西所能、东盟所盼,正加快构建一条“北上广研发+广西集成+东盟应用”的特色发展路径
2025-10-31 11:46:00
aigo国民好物成为第32届WCGC全球总决赛官方唯一翻译类供应商——以中国智造共铸无界对话的全球盛事
上海,2025年10月 —— 备受瞩目的第32届世界企业高尔夫挑战赛(WCGC)全球总决赛于2025年10月19日至23日在上海东庄海岸高尔夫俱乐部隆重举行
2025-10-31 11:52:00
让检测全面拥抱AI!科学指南针2025产品服务发布会举行
让检测全面拥抱AI!10月30日,科学指南针2025年度产品服务发布会在杭州举办,来自高校院所、企业、分析测试中心等多方行业代表到场参会
2025-10-31 11:52:00
培育钻定制哪个品牌好?2025最新测评出炉,国产珠宝高性价比领跑榜单
曾几何时,钻石承载着“钻石恒久远,一颗永流传”的爱情神话,而天然钻石的稀缺性更被赋予了极高的市场价值。然而,随着实验室培育钻石技术的突破性进展
2025-10-31 12:14:00
在企业商旅管理从“费用管控”向“全流程智能管理”演进的关键时期,平台竞争力已不再局限于单一的预订功能,而是延伸至合规风控
2025-10-31 12:16:00
拓竹荣膺《时代》最佳发明,3D打印技术步入主流创新支撑体系
近期,《时代》周刊公布2025年度最佳发明榜单,揭示一个耐人寻味的现象:在300项突破性发明中,仅有4项被明确标注为3D打印创新
2025-10-31 12:19:00