2020 年 12 月颁布的 CPM-1 是国内首个华文大模型 ；2022 年 9 月颁布的 CPM-Ant 仅微调 0.06% 参数就能超越全参数微调效果；2023 年 5 月颁布的 WebCPM 是 华文首个基于搜索的问答开源模型。CPM-Bee 百亿大模型是团队最新颁布的基座模型，华文才能登顶权威榜单 ZeroCLUE，英文才能打平 LLaMA。
屡屡作出破壁性成就，CPM 系列大模型一直在引领国产大模型攀登高峰，最近颁布的 VisCPM 是又一次证明！VisCPM 是由面壁智能、清华大学 NLP 实验室和知乎联合开源在 OpenBMB 的多模态大模型系列，其中 VisCPM-Chat 模型支援中英双语的多模态对话才能，VisCPM-Paint 模型支援文到图生成才能，评测显示 VisCPM 在华文多模态开源模型中达到最佳水平。
VisCPM 基于百亿参数基座模型 CPM-Bee 训练，融合视觉编码器（Q-Former 和视觉解码器（Diffusion-UNet）以支援视觉信号的输入和输出。得益于 CPM-Bee 底座优秀的双语才能，VisCPM 可以仅通过英文多模态数据预训练，泛化实现优秀的华文多模态才能。
VisCPM简易架构图
我们来详细看看 VisCPM-Chat 和 VisCPM-Paint 到底牛在哪里。
VisCPM 链接：https://github.com/OpenBMB/VisCPM
VisCPM-Chat 支援面向图象进行中英双语多模态对话。该模型运用 Q-Former 作为视觉编码器，运用 CPM-Bee（10B）作为说话交互基底模型，并通过说话建模训练目标融合视觉和说话模型。模型训练包括预训练和指令精调两阶段。
团队运用约 100M 高质量英文图文对数据 对 VisCPM-Chat 进行了预训练，数据包括 CC3M、CC12M、COCO、Visual Genome、Laion 等。在预训练阶段，说话模型参数保持固定，仅更新 Q-Former 部分参数，以支援大规模视觉 – 说话表示的高效对齐。
之后团队对 VisCPM-Chat 进行了指令精调，采用 LLaVA-150K 英文指令精调数据，并混合相应翻译后的华文数据对模型进行指令精调，以对齐模型多模态基础才能和用户运用意图。在指令精调阶段，他们更新了全部模型参数，以提升指令精调数据的利用效率。
有趣的是，团队发现即使仅采用英文指令数据进行指令精调，模型也可以理解华文问题，但仅能用英文回答。这表明模型的多说话多模态才能已经得到良好的泛化。在指令精调阶段进一步加入少量华文翻译数据，就可以将模型回复说话和用户问题说话对齐。
团队在 LLaVA 英文测试集和翻译的华文测试集对模型进行了评测，该评测基准考察模型在开放域对话、图象细节描述、复杂推理方面的表现，并运用 GPT-4 进行打分。可以观察到，VisCPM-Chat 在华文多模态才能方面取得了最佳的平均性能，在通用域对话和复杂推理上表现出色，同时也表现出了不错的英文多模态才能。
VisCPM-Chat 提供了两个模型版本，分别为 VisCPM-Chat-balance 和 VisCPM-Chat-zhplus，前者在英文和华文两种说话上的才能较为平衡，后者在华文才能上更加突出。两个模型在指令精调阶段运用的数据相同，VisCPM-Chat-zhplus 在预训练阶段额外加入了 20M 清洗后的原生华文图文对数据和 120M 翻译到华文的图文对数据。
下面是 VisCPM-Chat 的多模态对话才能展示，不仅能识别具体地区的地图，还能读懂涂鸦画和电影海报，甚至认识星巴克的 logo。而且，中英文双语都很溜！
再来看 VisCPM-Paint ，它支援中英双语的文到图生成。该模型运用 CPM-Bee（10B）作为文本编码器，运用 UNet 作为图象解码器，并通过扩散模型训练目标融合说话和视觉模型。
在训练过程中，说话模型参数始终保持固定。运用 Stable Diffusion 2.1 的 UNet 参数初始化视觉解码器，并通过逐步解冻其中关键的桥接参数将其与说话模型融合：首先训练文本表示映射到视觉模型的线性层，然后进一步解冻 UNet 的交叉注意力层。该模型在 Laion 2B 英文图文对数据上进行了训练。
与 VisCPM-Paint 类似，得益于基座模型 CPM-Bee 的双语才能，VisCPM-Paint 可以仅通过英文图文对训练，泛化实现良好的华文文到图生成才能，达到华文开源模型的最佳效果。通过进一步加入 20M 清洗后的原生华文图文对数据，以及 120M 翻译到华文的图文对数据，模型的华文文到图生成才能获得进一步提升。同样，VisCPM-Paint 有 balance 和 zhplus 两个不同的版本。他们在标准图象生成测试集 MSCOCO 上采样了 3 万张图片，计算了常用评估图象生成指标 FID (Fréchet Inception Distance) 评估生成图片的质量。
VisCPM-Paint 模型中分别输入 “海上生明月，天涯共此时，唯美风格，抽象风格”“人闲桂花落，月静春山空” 两条 prompts，生成了以下两张图片：
（生成效果稳定性仍有提升空间）
相当惊艳，可以说精准把握了古诗词的意境，以后读不懂诗句就直接生成个图片来理解！如果应用在设计上，可以节省一大笔人力。不仅能 “作画”，用上 VisCPM-Chat，还能 “吟诗”：用图片反向检索诗句。比如能用李白的诗描绘黄河的景象并作解读，在面对中秋月夜时还能用苏轼的《水调歌头》借景抒情。
VisCPM 不仅生成效果好，下载版本设计考虑周到，安装和运用也十分简易。
VisCPM提供不同中英文才能的版本
安装步骤
VisCPM 提供不同中英文才能的模型版本供大家下载选择，安装步骤简单，在运用中可以通过几行代码实现多模态对话，还在代码中默认开启了对输入文本和输出图片的安全检查。（具体教程详见 README）未来团队还会将 VisCPM 整合到 huggingface 代码框架中，并且会陆续完善安全模型、 支援快速网页部署、 支援模型量化功能、支援模型微调等功能，坐等更新！
值得一提的是，VisCPM 系列模型非常欢迎个人运用和研究用途。如需将模型用于商业用途，还可以联系 [email protected] 洽谈商业授权事宜。
传统模型专注处理单一模态数据，现实世界中的信息往往是多模态的，多模态大模型提升了人工智能系统的感知交互才能，为 AI 解决现实世界中复杂的感知和理解任务带来了新的机遇。不得不说，清华系大模型公司面壁智能研发才能强大，联合颁布的多模态大模型 VisCPM 实力强大、表现惊艳，期待他们后续的成果颁布！