VPiT

如今，多模态大模型（MLLM）已经在视觉理解领域取得了长足进步，其中视觉指令调整方法已被广泛应用。 该方法是具有数据和计算效率方面的优势，其有效性表明大语言模型（LLM）拥有了大量固有的视觉知识，使得它们能够在指令调整过程中有效地学习和发展视觉理解。 在 Meta 和纽约大学合作的一篇论文中，研究者探究了 LLM 是否也可以通过微调来生成具有同等效率和有效性的视觉信息？