多模态LLM视觉推理能力堪忧，浙大领衔用GPT-4合成数据构建多模态基准

新智元报道

编辑：乔杨

【新智元导读】LLM的数学推理能力缺陷得到了很多研究的关注，但最近浙大、中科院等机构的学者们提出，先进模型在视觉推理方面同样不足。为此他们提出了一种多模态的视觉推理基准，并设计了一种新颖的数据合成方法。

无论是语言模型还是视觉模型，似乎都很难完成更抽象层次上的理解和推理任务。

语言模型已经可以写诗写小说了，但是依旧算不对9.11和9.9比大小的问题。

同样的问题也出现在视觉模型中，它们能完美理解自然景色或人物照片，却无法处理各种图表任务，甚至看表读时间都是难题。

如果要将AI系统用在更多专业领域，这些能力缺陷就显得极为突出。

最近，浙江大学、中科院软件研究所、上海科技大学等机构就联合提出了一种新的多模态基准，专门衡量模型对抽象图像的理解能力和视觉推理能力。

论文地址：https://arxiv.org/pdf/2407.07053

数据集共包含11,193个带有相关问题的抽象图像，涵盖了仪表板、路线图、图表、表格、流程图、关系图、视觉谜题和2D平面图等8大类别，此外还有额外的62,476条数据用于微调模型。

经过测试，人类在该基准上可以达到至少82.1%的准确率，但Claude 3.5 Sonnet和GPT-4o等顶流模型的成绩却远远落后于人类，分别只有64.7%和59.9%。

目前全部数据已经上传至HuggingFace仓库。

仓库地址：https://huggingface.co/datasets/zwq2018/Multi-modal-Self-instruct

此外，作者也将数据构建数据所用的代码上传到了GitHub。

代码地址：https://github.com/zwq2018/Multi-modal-Self-instruct

构建数据集

作为新提出的基准测试，重头戏自然是数据集的构建过程。

作者在论文中指出，想要采集到合适的抽象图像-文本对，既需要大量人力，也十分耗费时间。

那么使用合成数据呢？

同样也不容易，因为我们需要的是多模态数据，但LLM无法直接生成图像，DALL-E、Stable Diffusion等图像生成模型又无法同步生成文本。

一个直觉的解决方案是将二者结合在一起，直接生成

但文生图模型实际上很难对图像细节做到细微精准的控制，尤其是生成仅由几何形状组成的抽象图像，更何况其中大部分还需要包含数字和文字。

鉴于以上问题，作者提出了一种以代码为中心的「自我指导」（self-instruct）策略进行图像和相关文本的同步合成，整个过程只有语言模型——GPT-4-Turbo的参与，没有用到图像生成模型。（图2）

首先指导LLM，针对某个日常情景，提出一种视觉创意。这个过程中，作者给LLM提供了一些in-context示例，使生成结果尽可能涵盖全部8个类别。

然后模型根据自己提出的创意，生成所需的数据和代码以绘制图像。

比如对于饼状图，LLM就需要先「捏造」数据，设计出每个类型对应的百分比数值。在代码生成中，作者激励模型使用Matplotlib或ECharts等代码库，显著降低了代码复杂度。

执行代码并渲染好图像后，LLM会继续进行「自我指导」，根据视觉内容，加上之前所用的视觉创意、数据和代码作为prompt，生成多个高质量的

除了为每个问题生成答案，作者还提示LLM生成能解释答案的「原理」（rationale），以便用于训练模型，起到类似于CoT的作用。

整个构建过程的流水线如下图所示：

这种「以代码为中心」的方式不仅更容易保证图像的细节、质量和多样性，也让LLM更容易生成相关文本。

数据合成过程所用的模型是GPT-4-Turbo，但合成后还经过Llava-1.5的初筛，以保证图像的美观程度、布局合理性以及文本可读性等。

最终构建的测试集共包含3.658张图像和11,193条指令，涵盖了仪表板、路线图、图表、表格、流程图、关系图、视觉谜题和2D平面图等8个类别。

数据集进行了10%的随机抽样，并让人类验证答案的正确性，发现数据集的质量有一定的保证。

为了能进一步评估合成数据的质量，作者还为图表、表格和路线图这三个任务构建了额外的训练集，共包含62,476条指令（图1）。

基准测试

论文共对12个模型进行了测试，详细结果如表A1所示，其中人类所得分数来自于两个本科生分数的平均。

其中得分最高的是Claude 3.5 Sonnet，平均准确率为64.74%；GPT-4o紧随其后，准确率为59.99%，都与人类平均水平82.1%相去甚远。

作者发现，在图表、关系图、2D平面图中，模型经常在抽象概念或空间关系上出错。

8个类别的抽象图像中，模型表现最差的当属「路线图」类。Claude 3.5 Sonnet平均准确率为59.24%，其余模型均为未超过40%。

在「路线图」和「视觉谜题」两类图像任务中，开源和闭源模型的差距尤为明显。

模型微调

除了构建基准，论文发现，用这些合成数据训练模型可以显著提高其视觉推理能力。

相比之前的Vanilla Llava-1.5-7B，用62K条数据经过4小时LoRA微调后的模型，在3类图像任务上都有非常显著的提升。尤其是「路线图」类别，准确率飙升67.4%，超过了GPT-4V和Claude-3-Sonnet（表2）。

虽然模型在微调后出现性能提升属于正常现象，但这种微调效率可以侧面证明合成数据的潜力，尤其是在质量、有效性和多样性方面。

除了在原基准上有所进步，微调后的模型在ChatQA、MathVista这样弱相关任务上也有不同程度的分数提升（表4）。

这意味着，在合成数据上的训练可以提升模型的通用视觉推理能力，从而泛化到其他任务，而非仅仅是拟合训练场景。

结论与限制

论文最重要的贡献在于指出了当前多模态LLM在视觉推理方面的次优表现，并构建了合成数据组成的基准测试集，表明合成数据训练是一个有前景的解决方案。

与此同时，作者指出了该研究存在的三方面限制：

- 数据合成过程严重依赖LLM的代码合成和推理能力，因此论文只使用了GPT-4等闭源模型。随着Llama 3等开源模型逐渐提升性能，未来可以利用开源模型合成数据以减少成本

- 本项工作主要用代码合成8类的抽象图像，例如表格和地图，未来可以继续扩展到用代码控制机器人仿真器，生成特定的房屋布局和结构

- 我们认为视觉编码器是当前LLM的瓶颈，尤其是对于抽象图表而言，因此未来提升编码器图像分辨率可以增强LLM的细粒度认知能力

参考资料：

https://the-decoder.com/study-reveals-major-weaknesses-in-ais-ability-to-understand-diagrams-and-abstract-visuals/

https://arxiv.org/abs/2407.07053