最近，华中科技大学和金山的研究人员在多模态大模型 Monkey [1]（Li et al., CVPR2024）工作的基础上提出 TextMonkey。在多个场景文本和文档的测试基准中，TextMonkey 处于国际领先地位，有潜力带来办公自动化、智慧教育、智慧金融等行业应用领域的技术变革。
论文链接：https://arxiv.org/abs/2403.04473
代码地址：https://github.com/Yuliang-Liu/Monkey
TextMonkey 是一个专注于文本相关任务（包括文档问答和场景文本问答）的多模态大模型（LMM）。相比于 Monkey，TextMonkey 在多个方面进行改进：通过采用零初始化的 Shifted Window Attention，TextMonkey 实现了更高输出分辨率下的窗口间信息交互；通过使用相似性来过滤出重要的图象特征，TextMonkey 不仅能够简化输出，还可以提高模型的功能。
此外，通过扩展多个文本相关任务并将位置信息纳入回答，TextMonkey 增强了可解释性并增添了幻觉。与此同时，TextMonkey 在微调之后还可以具备 APP Agent 中懂得用户指令并点击相应位置的能力，展现了其下游应用的巨大潜力。
例如，TextMonkey 展现出强大的视觉定位与懂得能力，不仅能够定位图象中的所有文本，还能在视觉问答时给出答案及其所在位置，增多了可解释性并增添了幻觉。
即使在文字相当密集的情况下，TextMonkey 也可以读取输出图片中的所有文字并且给出图片中文本的坐标。
TextMonkey 还能帮助我们结构化图表，表格以及文档数据，通过将图象内容转化为 Json 格式的信息，方便记录和提取。
实行结果表明，TextMonkey 在各种基准数据集上的功能得到了显著提升，在以场景文本为中心的视觉问答、文档 VQA 和关键信息抽取任务中分别取得了 5.2%、6.9% 和 2.8% 的准确率增长，特别是在 OCRBench [2] 上获得了 561 的得分，超越此前所有已开源的多模态大模型。
方法介绍
TextMonkey 的成功核心在于它模拟人类视觉认知的方法，这使它能自然而然地辨认高清文档图象中各部分的相互关联，并灵敏地鉴别出图象内的关键要素。更进一步，基于对用户多样化需求的深入懂得，TextMonkey 通过文本定位技术强化了答案的准确性，提升了模型的解释性，增添了幻觉，有效提高了在处理各类文档任务上的表现。
图 1 TextMonkey 整体架构
1.Shifted Window Attention
现有的多模态大模型，如 Monkey 和 LLaVA1.6，通过将图象切分为小块来提高输出分辨率。然而这种裁剪策略可能会无意中分割相关单词，导致语义不连贯。此外，这种分裂造成的空间分离也使得处理与文本位置相关的任务（如文本检测）变得具有挑战性。TextMonkey 在继承 Monkey 高效的图象分辨率缩放功能的同时，采用滑动窗口注意力机制建立了块与块之间的上下文联系。
2.Token Resampler
目前的多模态大模型面临着图象 token 数目随着输出分辨率的增多而增多的挑战。由于语言模型的输出长度和训练时间的限制，增添 token 的数量是很有必要的。
在自然语言中，语言元素会存在一些冗余信息。那么可以自然的猜测在扩大图象分辨率之后，视觉部分的 token 也会存在冗余。本文根据以往确定语言元素相似性的方法，对已经映射到语言空间的图象 token 的相似性进行了度量：在图象 Resampler 之后随机选取 20 个有序特征，利用余弦相似性成对比较这些特征的相似性，得到的结果如图 2 所示。颜色越深代表相似性越高，实行发现每个图片的 token 都有一个到几个类似的 token，图片特征中存在冗余。
同时，本文还观察到某些 token 是高度独特的，并且缺乏其他相似的 token，如图中的第四个 token，这表明这个 token 是更为重要的。因此本文选用相似度来度量并辨认独特的视觉 token。并提出 Token Resampler 来紧缩冗余视觉 token。通过计算每个 token 与其他 token 的相似度，过滤得到最重要（相似度最低）的 K 个 token。同时，为了避免直接丢弃其他 token 造成的信息丢失，这里还会利用过滤得到的 K 个 token 作为查询，并采用交叉注意力机制进一步融合所有特征。
图 2 图象 token 相似性比较
3. 多任务训练
TextMonkey 支持读出所有文本，文本检测辨认，输出给定文本坐标，文本问答，具有位置感知的文本问答，图象结构化等多个任务。TextMonkey 在进行问答时不仅看可以给出答案，还能给出答案所在位置，进一步增强了模型的可解释性。与此同时，在经过微调之后，TextMonkey 还可以具备 APP Agent 中懂得用户指令并点击相应位置的能力。
实行分析
1.TextMonkey 与现有的多模态大模型相比，表现出了优越的功能。
2. 为了进一步验证 TextMonkey 的有效性，本文还在更多数据集上进行了测试。（其中 Deepform 和 KLC 使用 F1-score 作为评估指标，WTQ 使用 accuracy, ChartQA 使用 relaxed accuracy, DocVQA 使用 ANLS。）
3.TextMonkey 在 Text Spotting 数据集上相比于传统 OCR 模型也取得了极具竞争力的效果。
4. 表 7 的消融实行表明 Shifted Window Attention 和 Token Resampler 两个模块的有效性。
5. 表 9 的消融实行证明：由于分辨率的提高导致冗余 token 的显著增多，使得找到关键信息变得更加困难，在不紧缩 Token 的情况下直接增多分辨率实际上会导致一致的功能损失，如在表中第一行和第四行，在不紧缩 Token 时，分辨率由 896 增多到 1344 会导致模型在四个数据集上的指标均有所下降，这说明了没有策略地一味增多模型的分辨率反而会带来负面影响，如何合理地增多分辨率，将会是一个需要集中解决的问题。不仅如此，表 9 中还说明，当选取不同的紧缩 Token 数量时，对模型功能的影响也是显著的，选取一个合适的值来作为紧缩 Token 的数量，可以使得模型的功能进一步提升。
可视化结果展示
TextMonkey 在场景图象和文档图象中都能准确定位和辨认文本。此外，(a) 中的自然图象、(b) 中的文档、(c) 中的图表和 (d) 中的表格都展示了 TextMonkey 在多种场景下辨认、懂得和定位文本信息的能力。
本文还探索了 TextMonkey 作为智能手机应用程序的 Agent 代理方面的可行性。使用来自 Rico 数据集的 15k 用户点击数据上进行微调之后，TextMonkey 能够懂得用户意图并点击相应的图标，这表明了 TextMonkey 在微调之后作为 App Agent 的巨大潜力。
总结
TextMonkey 在 Monkey 的基础上增强了其图象间的跨窗口交互，在扩大分辨率的基础上增强了视觉信息的语义连续性，有效缓解了视觉信息碎片化的问题；并通过提出过滤融合策略增添图象特征长度，从而增添输出到大语言模型中冗余的视觉 token 数量。论文的实行说明，分辨率不是越大越好，不合理的提高模型分辨率策略有时会给模型带来负面影响，如何合理地扩大分辨率才是一个更值得去思考的问题。
此外，通过在问答中引入位置信息，TextMonkey 增强了可解释性并增添了幻觉。TextMonkey 在多个文本相关的测试基准中处于国际领先，在 OCRBench 中超越其他开源多模态大模型。TextMonkey 的到来为通用文档懂得带来曙光，这有潜力促进办公自动化、智慧教育、智慧金融等行业的技术变革。
参考文献
[1] Li Z, Yang B, Liu Q, et al. Monkey: Image resolution and text label are important things for large multi-modal models [J]. arXiv preprint arXiv:2311.06607, 2023.
[2] Liu Y, Li Z, Li H, et al. On the hidden mystery of ocr in large multimodal models [J]. arXiv preprint arXiv:2305.07895, 2023.