1 月 22 日，零一万物 Yi 系列模型家族迎来新成员：Yi Vision Language（Yi-VL）多模态谈话大模型正式面向全球开源。据悉，Yi-VL 模型鉴于 Yi 谈话模型开发，包括 Yi-VL-34B 和 Yi-VL-6B 两个版本。
Yi-VL 模型开源地址：
https://huggingface.co/01-ai
https://www.modelscope.cn/organization/01ai
凭借卓越的图文明白和对话生成才能，Yi-VL 模型在英文数据集 MMMU 和中文数据集 CMMMU 上取得了领先成绩，展示了在复杂跨学科任务上的强盛实力。
MMMU（全名 Massive Multi-discipline Multi-modal Understanding & Reasoning 大规模多学科多模态明白和推理）数据集包孕了 11500 个来自六大核心学科（艺术与设计、商业、科学、健康与医学、人文与社会科学以及技术与工程）的问题，涉及高度异构图象类型和交织文本图象信息，对模型的高级知觉和推理才能提出了极高要求。在该测试集上，Yi-VL-34B 以 41.6% 的准确率表现超越了一系列多模态大模型，仅次于 GPT-4V（55.7%），展现出强盛的跨学科知识明白和应用才能。
来源：https://mmmu-benchmark.github.io
在针对中文场景打造的 CMMMU 数据集上，Yi-VL 模型展现了「更懂中国人」的独特优势。CMMMU 包孕了约 12000 道源自大学考试、测验和教科书的中文多模态问题。其中，GPT-4V 在该测试集上的准确率为 43.7%， Yi-VL-34B 以 36.5% 的准确率紧随其后，在现有的开源多模态模型中处于领先位置。
来源：https://cmmmu-benchmark.github.io/
那么，Yi-VL 模型在图文对话等多元场景中的表现如何？
我们先看两个示例：
可以看到，鉴于 Yi 谈话模型的强盛文本明白才能，只需对图片进行对齐，就可以得到不错的多模态视觉谈话模型 —— 这也是 Yi-VL 模型的核心亮点之一。
Yi-VL 模型架构设计和训练方法流程一览。
在架构设计上，Yi-VL 模型鉴于开源 LLaVA 架构，包孕三个主要模块：
Vision Transformer（简称 ViT）用于图象编码，使用开源的 OpenClip ViT-H/14 模型初始化可训练参数，通过学习从大规模「图象 – 文本」对中提取特征，使模型具备处理和明白图象的才能。
Projection 模块为模型带来了图象特征与文本特征空间对齐的才能。该模块由一个包孕层归一化（layer normalizations）的多层感知机（Multilayer Perceptron，简称 MLP）构成。这一设计使得模型可以更有效地融合和处理视觉和文本信息，提高了多模态明白和生成的准确度。
Yi-34B-Chat 和 Yi-6B-Chat 大规模谈话模型的引入为 Yi-VL 提供了强盛的谈话明白和生成才能。该部分模型借助先进的自然谈话处理技术，能够帮助 Yi-VL 深入明白复杂的谈话结构，并生成连贯、相关的文本输出。
在训练方法上，Yi-VL 模型的训练过程分为三个精心设计的阶段，旨在全面提升模型的视觉和谈话处理才能。
第一阶段：零一万物使用 1 亿张的「图象 – 文本」配对数据集训练 ViT 和 Projection 模块。在这一阶段，图象分辨率被设定为 224×224，以增强 ViT 在特定架构中的知识获取才能，同时实现与大型谈话模型的高效对齐。
第二阶段：零一万物将 ViT 的图象分辨率提升至 448×448，这一提升让模型更加擅长识别复杂的视觉细节。此阶段使用了约 2500 万「图象 – 文本」对。
第三阶段：零一万物开放整个模型的参数进行训练，目标是提高模型在多模态聊天互动中的表现。训练数据涵盖了多样化的数据源，共约 100 万「图象 – 文本」对，确保了数据的广泛性和平衡性。
零一万物技术团队同时也验证了可以鉴于 Yi 谈话模型强盛的谈话明白和生成才能，用其他多模态训练方法比如 BLIP、Flamingo、EVA 等快速训练出能够进行高效图象明白和流畅图文对话的多模态图文模型。Yi 系列模型可以作为多模态模型的基座谈话模型，给开源社区提供一个新的选项。
目前，Yi-VL 模型已在 Hugging Face、ModelScope 等平台上向公众开放，用户可通过以下链接亲身体验这款模型在图文对话等多元场景中的优异表现。欢迎探索 Yi-VL 多模态谈话模型的强盛功能，体验前沿的 AI 技术成果。