AI在线 AI在线

模态编码器

模态编码器 | ALIGN，通过大规模嘈杂数据集训练的视觉语言模型

模态编码器 | ALIGN，通过大规模嘈杂数据集训练的视觉语言模型
简单看一下Google早期的一篇工作ALIGN，发表在2021 ICML上。 研究动机：传统的视觉语言表示学习通常在手动标注的大规模数据集上进行训练，需要大量的预先处理和成本。 ALIGN利用网络上摘取的HTML页面和alt-text标签，构建了一个18亿对图像-文本的嘈杂数据集，从而在不需要昂贵的数据过滤的情况下，实现高效的学习。
4/11/2025 2:00:00 AM
Goldma
模态编码器 | FLIP：通过图像掩码加速CLIP训练

模态编码器 | FLIP：通过图像掩码加速CLIP训练
来聊聊Meta AI团队（何恺明组）提出的一个高效的CLIP加速训练方法——FLIP。 看完MAE，很自然的一个想法就是将MAE用到CLIP里的图像编码器上，FLIP实现了这个想法，通过在训练过程中对图像进行随机掩码（masking），显著提升了训练效率。 动机也很简单，CLIP训练成本高，耗费大量时间和资源，高效省时的训练方法则成为研究重点。
4/11/2025 12:16:00 AM
模态编码器 | 恺明大神的MAE--掩码自编码器

模态编码器 | 恺明大神的MAE--掩码自编码器
恺明大神在2021年提出掩码自编码器（MAE），一种简单的自监督学习方法，通过随机掩盖输入图像的部分区域并重建缺失的像素。 主要研究动机如下：数据需求与过拟合问题：深度学习模型，尤其是视觉领域的模型，需要大量数据来避免过拟合。 自然语言处理（NLP）领域通过自监督预训练（如BERT）成功解决了这一问题，但在计算机视觉领域，类似的自监督学习方法发展相对滞后。
4/10/2025 11:52:55 AM
模态编码器 | CLIP改进之SigLIP，采用sigmoid损失的图文预训练

模态编码器 | CLIP改进之SigLIP，采用sigmoid损失的图文预训练
DeepMind对CLIP改进的一篇工作--SigLIP，发表在2023CVPR。 简单看下研究动机：传统的对比学习方法如CLIP等依赖于 softmax 归一化，这需要一个全局视角来计算成对相似度，从而限制了批处理大小的扩展能力，并且在小批处理大小下表现不佳。 因此本文提出了一个简单的成对 Sigmoid 损失函数用于语言-图像预训练（SigLIP）。
4/9/2025 2:10:00 AM
Goldma
模态编码器 | 超强开源CLIP模型OpenCLIP

模态编码器 | 超强开源CLIP模型OpenCLIP
来自LAION、UC伯克利、HuggingFace等的工作，这篇工作的研究动机也很简单，CLIP 模型在多模态领域展现出了巨大潜力，但原始 CLIP 模型未完全开源，限制了其更广泛的应用和深入研究。 OpenCLIP 旨在通过开源的方式，让更多开发者能够无门槛地利用这一先进模型，推动多模态技术在各个领域的应用和发展。 模型架构和原始CLIP无异，下面简单介绍这篇工作中的一些研究规律和实验结果。
4/8/2025 4:20:00 AM
Goldma
模态编码器 | 最强CLIP模型EVA-CLIP-18B

模态编码器 | 最强CLIP模型EVA-CLIP-18B
来自智源王鑫龙团队的工作，将EVA-CLIP模型参数扩展至18B，简单看下结果，EVA-CLIP-18B性能远超其他模型。 项目地址：。 首先，随着大型语言模型(LLMs)参数量的增长至千亿级别，与其配套的视觉基础模型却未能同步扩展，这种不对等限制了多模态应用的整体效能。
4/8/2025 3:00:00 AM
Goldma
模态编码器|EVA改进之EVA-02

模态编码器|EVA改进之EVA-02
来自智源曹越团队在EVA的优化改进方面的工作EVA-02，项目地址：：在CV领域，训练、调优和评估非常大的视觉模型需要大量的计算资源，限制了许多研究人员和开发者的参与。 因此，本研究主要目的是提供一种高效且性能强大的预训练方法，不仅能够在多种下游任务中展现出色的迁移学习能力，而且还能显著减少参数数量和计算成本。 01、模型架构EVA-02的基础是一个改进版的纯Transformer架构，该架构在原始ViT的基础上进行了若干重要的修改，以更好地适应大规模预训练任务的需求。
4/7/2025 6:30:00 AM
Goldma
模态编码器|CLIP技术改进之EVA-CLIP

模态编码器|CLIP技术改进之EVA-CLIP
上一篇看了EVA，趁热打铁，今天来看EVA-CLIP，同样是智源曹越团队的工作，主要研究主题是结合EVA改进CLIP。 研究动机：训练CLIP模型面临计算成本高和训练不稳定等挑战，尤其是在扩大模型规模时。 因此，这项工作的研究动机是提供一种高效且有效的解决方案，以促进更大规模CLIP模型的训练和发展。
4/7/2025 5:30:00 AM
Goldma
模态编码器|EVA探索掩码视觉表征学习的极限

模态编码器|EVA探索掩码视觉表征学习的极限
今天来看一篇经典的视觉表征学习的方法EVA，来自智源研究院发表在2023年CVPR的一篇工作。 项目地址：：自然语言处理（NLP）领域通过扩展预训练语言模型（PLMs）取得了革命性的成功，作者希望将这种成功从语言领域转移到视觉领域，即扩展一个视觉中心的基础模型，以便于视觉和多模态下游任务。 另外，视觉模型预训练和扩展的方法主要依赖于监督或弱监督训练，需要数百万个（通常是不可公开访问的）标注数据。
4/7/2025 4:30:00 AM
Goldma
模态编码器|CLIP详细解读

模态编码器|CLIP详细解读
下面来详细了解一下多模态大模型模态编码器部分。 今天首先来看下CLIP，OpenAI发表在2021年ICML上的一篇工作。 项目地址：：在自然语言处理（NLP）领域，通过大规模的文本数据预训练模型（如GPT-3）已经取得了显著的成果，但在计算机视觉领域，预训练模型仍然依赖于人工标注的图像数据集，严重影响了其在未见类别上的泛化性和可用性（需要用额外的有标注数据）。
4/7/2025 3:30:00 AM
Goldma
  • 1