AIxiv专栏是机器之心发布学术、技术实质的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇实质，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：[email protected]；[email protected]。
近期，多模态大模型 (MLLM) 在文本焦点的 VQA 领域取得了显著进展，尤其是多个闭源模型，例如：GPT4V 和 Gemini，甚至在某些方面展现了超越人类能力的表现。但是开源模型的机能还远远落后于闭源模型，最近许多开创性的研究，例如：MonKey、LLaVAR、TG-Doc、ShareGPT4V 等已开始关注指令微调数据不足的问题。尽管这些努力取得了显著的效果，但仍存在一些问题，图象描述数据和 VQA 数据属于不同的领域，图象实质呈现的粒度和范围存在不一致性。此外，合成数据的规模相对较小，使得 MLLM 无法充分发挥潜力。
论文标题：TextSquare: Scaling up Text-Centric Visual Instruction Tuning
论文地址：https://arxiv.org/abs/2404.12803
为了减少这一差距，来自字节跳动 & 华东师大 & 华中科大的研究员提出了一种新的策略：Square— 即从先进的闭源 MLLMs 中获得大量的以文本焦点的高质量 VQA 数据，并构建了一个千万级指令微调数据集（Square-10M）。
VQA 数据生成
Square 策略方法包括四个步骤：自问 (Self-Questioning)、回答 (Self-Answering)、推理 (Self-Reasoning) 和评价 (Self-Evalution)。Self-Questioning 利用 MLLM 在文本图象分析和理解方面的能力生成与图象中文本实质相关的问题。Self-Answering 利用各种提醒技术，如：思维链 CoT 和少样本，提醒回答这些问题。Self-Reasoning 利用 MLLMs 强大的推理能力，生成模型背后的推理过程。Self-Evalution 评价问题的有效性、与图象文本实质的相关性以及答案的正确性，从而提高数据质量并减少幻觉。
图 1 TextSquare 和先进的闭源、开源模型的比较，在 10 个文本相关的 benchmark 上的平均排名超越了 GPT4V（排名 2.2 vs. 2.4）
基于 Square 方法，研究者从各种公共来源收集了一组多样化的含有大量文本的图象，包括自然场景、图表、表单、收据、书籍、PPT、PDF 等构建了 Square-10M，并基于这个数据集训练了以文本理解为焦点的 MLLM TextSquare-8B。
如图 1 所示，TextSquare-8B 在多个 benchmark 可取得与 GPT4V 和 Gemini 相媲美或更优的效果，并显著超过了其他开源模型。TextSquare 实验验证了推理数据对 VQA 任务的积极影响，证明了其能够在减少幻觉的同时提升模型机能。
此外，通过利用大规模的数据集，揭示了指令调整数据规模、训练收敛损失和模型机能之间的关系。尽管少量的指令调整数据可以很好地训练 MLLM，随着指令调整数据的不断扩大，模型的机能能得到进一步增长，指令微调数据和模型之间也存在着相对应的 scaling law。
图 2 VQA 数据合成的流程，包括数据生成（Self-Questioning、 Answering、Reasoning）、数据过滤（Evaluation）2 个阶段
图 3 Square-10M 的图象分布和 QA 分布等详细情况
数据收集
数据收集策略的主要目标是涵盖广泛的现实世界文本丰富的场景。为此，研究者收集了 380 万张的富文本的图象。这些图象表现出不同的特性，例如，图表和表格侧重于具有密集统计信息的文本元素；PPT、屏幕截图和 WebImage 是为文本和突出视觉信息之间的交互而设计的；文档 / PDF、收据和电子商务包含具有精细和密集文本的图象；街景源于自然场景。收集到的图象形成了现实世界中文本元素的映射，并构成了研究以文本为焦点的 VQA 的基础。
数据生成
研究者利用 Gemini Pro 的多模态理解能力从特定数据源选择图象，并通过自问、自答、自我推理三个阶段生成 VQA 及推理上下文对。
Self-Question: 这个阶段会给定一些 prompt，Gemini Pro 会根据这些提醒对图象进行全面分析，并根据理解去生成一些有意义的问题。考虑到通用 MLLM 对文本元素的理解能力通常会比视觉模型弱，我们通过专门的 OCR 模型将提取的文本预处理到 prompt 中去。
Self-Answering: Gemini Pro对生成问题会利用思维链 (CoT) 和少样本提醒 (few-shot prompting) 等技术丰富上下文信息，提高生成答案的可靠性。
Self-Reasoning: 这个阶段会生成答案的详细原因，迫使 Gemini Pro 更多的思考问题和视觉元素之间的联系，从而减少幻觉并提高准确的答案。
数据过滤
尽管自我提问、回答和推理是有效的，但生成的图象 – 文本对可能面临幻觉实质、无意义问题和错误答案。因此，我们设计了基于 LLM 的评价能力的过滤规则，以选择高质量的 VQA 对。
Self-Evaluation 提醒 Gemini Pro 和其他 MLLMs 判断生成的问题是否有意义，以及答案是否足以正确解决问题。
Multi-Prompt Consistency 除了直接评价生成的实质外，研究者还在数据生成中手动增加提醒和上下文空间。当提供不同的提醒时，一个正确且有意义的 VQA 对应该在语义上一致。
Multi-Context Consistency 研究者通过在问题前准备不同的上下文信息来进一步验证 VQA 对。
TextSquare-8B
TextSquare-8B 借鉴了 InternLM-Xcomposer2 的模型结构，包括 CLIP ViT-L-14-336 的视觉 Encoder，图象分辨率进一步提升至 700；基于 InternLM2-7B-ChatSFT 的大语言模型 LLM；一个对齐视觉和文本 token 的桥接器 projector。
TextSquare-8B 的训练包括三阶段的 SFT:
第一阶段，以 490 的分辨率全参数 (Vision Encoder, Projector, LLM) 微调模型。
第二阶段，输入分辨率增加到 700，只训练 Vision Encoder 以适应分辨率变化。
第三阶段，进一步以 700 的分辨率进行全参数微调。
TextSquare 证实，在 Square-10M 数据集的基础上，具有 8B 参数和正常大小图象分辨率的模型可以在以文本为焦点的 VQA 上实现超过了大多数的 MLLM，甚至是闭源模型 (GPT4V、Gemini Pro) 的效果。
实验结果
图 4（a）显示 TextSquare 具有简单的算术功能。图 4（b）显示了理解文本实质并在密集文本中提供大致位置的能力。图 4（c）显示了 TextSquare 对表格结构的理解能力。
MLLM Benchmark
Document-Oriented Benchmark 在文档场景的 VQA Benckmark (DocVQA、ChartQA、InfographicVQA) 上平均提升 3.5%，优于所有开源模型，在 ChartQA 数据集上略高于 GPT4V 和 Gemini Pro，该模型分辨率仅 700，小于大多数面向文档的 MLLM，如果分辨率进一步提高，相信模型机能也将进一步提高，Monkey 已证明这一点。
Scene Text-centric Benchmark 自然场景的 VQA Benchmark (TextVQA、AI2D) 中取得了 SOTA 的效果，但与 baseline Xcomposer2 相比没有较大改进，可能是因为 Xcomposer2 已经用了高质量的域内数据进行了充分优化。
Table VQA Benchmark 表格场景的 VQA Benchmark (WTQ、TabFact) 中取得到远超 GPT4V 及 Gemini Pro 的效果，分别超过其他 SOTA 模型 3%。
Text-centric KIE Benchmark 文本焦点的关键信息提取 KIE 任务的 benchmark (SROIE、POIE)，将 KIE 任务转换成 VQA 任务，在两个数据集都取得了最佳的机能，平均提升 14.8%。
OCRBench 包括文本识别、公式识别、文本焦点 VQA、KIE 等 29 项 OCR 相关的评价任务，取得了开源模型的最佳机能，并成为第一个 10B 左右参数量达到 600 分的模型。
General VQA and Hallucination Evaluation Benchmark 在通用的 VQA Benchmark (VizWiz VQAv2、GQA、POPE) 上 TextSquare 相较于 Xconposer2 没有显著退化，仍然保持着最佳的机能，在 VisWiz 和 POPE 表现出显著的机能，比各最佳的方法高出 3.6%，这突出了该方法的有效性，能减轻模型幻觉。
消融实验
TextSquare 相较于 Xcomposer2 在各 benchmark 平均提升 7.7%。
加入自评价后，模型机能有了明显提升。
加入推理数据后有助于显著提升机能以及减轻幻觉生成。
数据规模和收敛 loss & 模型机能关系
随着数据规模的增长，模型的 loss 继续减少，而下降速度逐渐变慢。收敛损失和指令调整数据尺度之间的关系近似符合对数函数。
随着指令调优数据的增长，模型的机能越来越好，但增长速度继续放缓，也大致符合对数函数。
总体而言，在以文本为焦点的 VQA 场景中，在指令调整阶段存在相应的缩放定律，其中模型机能与数据缩放的对数成正比，可以指导潜在更大数据集的构建并预测模型机能。
总结
在本文中，研究者提出了构建高质量的以文本为焦点的指令调优数据集（Square-10M）的 Square 策略，利用该数据集，TextSquare-8B 在多个 benchmark 上实现了与 GPT4V 相当的机能，并在各种基准测试上大幅优于最近发布的开源模型。
此外，研究者推导了指令调整数据集规模、收敛损失和模型机能之间的关系，以便为构建更大的数据集铺平道路，证实了数据的数量和质量对模型机能至关重要。
最后，研究者指出，如何进一步提高数据数量和质量以缩小开源模型与领先模型之间的差距，被认为一个有高度希望的研究方向。