CLIP

在人工智能迅速发展的今天，多模态系统正成为推动视觉语言任务前沿发展的关键。 CLIP（对比语言-图像预训练）作为其中的典范，通过将文本和视觉表示对齐到共享的特征空间，为图像-文本检索、分类和分割等任务带来了革命性突破。 然而其文本编码器的局限性使其在处理复杂长文本和多语言任务时显得力不从心。

作者 | 哈佛大学、纽约大学团队编辑 | ScienceAI公平性在深度学习中是一个关键问题，尤其是在调理范围，这些模型影响着诊疗和治疗决策。尽管在仅限视觉范围已对公平性进行了钻研，但由于缺乏用于钻研公平性的调理视觉-言语(VL)数据集，调理VL模型的公平性仍未被探索。为了弥补这一钻研空白，我们介绍了第一个公平的视觉-言语调理数据集（FairVLMed），它提供了详细的人口统计属性、真实标签和临床…

如何衡量一个视觉模型？又如何选择适合自己需求的视觉模型？MBZUAI和Meta的研究者给出了答案。一直以来，ImageNet 准确率是评价模型功能的主要指标，也是它最初点燃了深度学习革命的火种。但对于今天的计算视觉领域来说，这一指标正变得越来越不「够用」。因为计算机视觉模型已变得越来越复杂，从早期的 ConvNets 到 Vision Transformers，可用模型的种类已大幅增加。同样，训练…

当下 OVD 领域的相关研究蓬勃发展，OVD 手艺对未来通用 AI 大模型能够带来的改变值得期待。