预训练多模态知识检索器

剑桥团队开源:赋能多模态大模型RAG应用,首个预训练通用多模态后期交互知识检索器

PreFLMR模型是一个通用的预训练多模态知识检索器,可用于搭建多模态RAG应用。模型基于发表于 NeurIPS 2023 的 Fine-grained Late-interaction Multi-modal Retriever (FLMR) 并进行了模型改进和 M2KR 上的大规模预训练。论文链接: 链接:::PreFLMR: Scaling Up Fine-Grained Late-Interaction Multi-modal Retrievers背景尽管多模态大模型(例如 GPT4-Vision、Gemi
  • 1