- 我的订阅
- 科技
我们正处于一个信息大暴发的时代，每天都能产生数以百万计的新闻资讯！
虽然有大数据推荐，但面对海量数据，通过我们的调研发现，在一个小时的时间里，您通常无法真正有效地获取您感兴趣的资讯！
头条新闻资讯订阅，旨在帮助您收集感兴趣的资讯内容，并且在第一时间通知到您。可以有效节约您获取资讯的时间，避免错过一些关键信息。
北大等发布多模态版o1！首个慢思考VLM将开源，视觉推理超闭源
北大等出品，首个多模态版o1开源模型来了——
代号LLaVA-o1，基于Llama-3.2-Vision模型打造，超越传统思维链提示，实现自主“慢思考”推理。
在多模态推理基准测试中，LLaVA-o1超越其基础模型8.9%，并在性能上超越了一众开闭源模型。
新模型具体如何推理，直接上实例，比如问题是：
减去所有的小亮球和紫色物体，剩下多少个物体？选项：A. 4，B. 8，C. 2，D. 6
传统提示词方法还是老路子，让Llama-3.2-11B-Vision-Instruct打个样就是：
第一步减去所有的小亮球；第二步减去所有紫色物体；最后给出答案，鉴于我们已经移除了所有的小亮球，而且一开始就没有紫色物体，正确答案是C. 2；
哐哐一顿输出，得出错误结果。
我们再来看LLaVA-o1的推理过程：
总结阶段：问题是什么？我应该怎么做？注释阶段：我能从这张图片中知道什么？推理阶段：如何一步一步解决问题？结论阶段：最终答案是什么？
是不是明显不同。这就对了，LLaVA-o1超越传统COT思维链，采用了结构化、多步骤推理。
简单说，它将推理过程划分为四个阶段，并在每一阶段采用优中选优策略来为下一阶段提供响应。
难怪看完最新效果，网友们直呼：推理 is all you need！
看来，让模型思考更多在多模态领域也同样适用——
“第一个能自发、系统推理的视觉语言模型”
前一阵，o1模型的发布又带火了COT思维链这一推理模式。（像人类一样步步思考）
于是，让模型思考更多是否会提高模型能力成为新的研究热点。
这不，除了像o1这样的通用大语言模型，北大团队还瞄上了多模态这一领域——
他们超越传统COT思维链，采用结构化、多步骤推理，一举推出多模态版o1模型——LLaVA-o1。
作者先澄清了一下， 虽然最近的VLM模型有类似名称，但LLaVA-o1是建立在Llama-3.2-Vision模型之上，而不是LLaVA。
那么，学会逐步推理的LLaVA-o1有多大提升呢？
根据论文介绍，仅用一个包含10万训练样本的数据集，LLaVA-o1在多模态推理基准测试中超越了其基础模型8.9%，并且在性能上超越了更大的模型。
甚至包括一些闭源模型，如Gemini-1.5-pro、GPT-4o-mini和Llama-3.2-90B-Vision-Instruct。
针对这一提升，团队也发现了背后的关键原因：
结构化响应显著提高了模型的系统推理能力
为了使LLaVA-o1更加结构化和系统化，团队设计了4个标签来帮助模型识别当前的推理阶段，并使用GPT-4o来生成LLaVA-o1-100k数据集。
以上内容为资讯信息快照，由td.fyun.cc爬虫进行采集并收录，本站未对信息做任何修改，信息内容不代表本站立场。
快照生成时间：2024-11-20 12:45:01
本站信息快照查询为非营利公共服务，如有侵权请联系我们进行删除。
信息原文地址：
