华中科技大学
多模态大模型有了统一分割框架，华科PSALM多任务登顶，模型代码全开源
最近，多模态大模型（LMM）取得了一系列引人注目的成就，特别是在视觉 - 语言任务上的表现令人瞩目。它们的成功不仅展现了多模态大模型在各个领域的实用性和灵活性，也为更多视觉场景下的应用探索了新的道路。尽管如此，在将 LMM 应用到计算机视觉任务上时，我们仍面临一个关键挑战：大多数 LMM 目前只限于文本输出，这限制了它们在处理更细粒度的视觉任务，如图像分割方面的能力。此外，图像分割领域内部的需求多样化，任务各异 —— 实例分割需为每个对象分配唯一 ID 并计算类别信赖度，指代分割（RES）则需要基于描述性语句来识别
通用文档理解新SOTA，多模态大模型TextMonkey来了
最近，华中科技大学和金山的研究人员在多模态大模型 Monkey [1]（Li et al., CVPR2024）工作的基础上提出 TextMonkey。在多个场景文本和文档的测试基准中，TextMonkey 处于国际领先地位，有潜力带来办公自动化、智慧教育、智慧金融等行业应用领域的技术变革。论文链接：： 是一个专注于文本相关任务（包括文档问答和场景文本问答）的多模态大模型（LMM）。相比于 Monkey，TextMonkey 在多个方面进行改进：通过采用零初始化的 Shifted Window Attention，
- 1