Vision Transformer

Yann LeCun：ViT慢且效率低，实时图像处理还得看卷积

用卷积能做出一样好的效果。在 Transformer 大一统的时代，计算机视觉的 CNN 方向还有研究的必要吗？今年年初，OpenAI 视频大模型 Sora 带火了 Vision Transformer（ViT）架构。此后，关于 ViT 与传统卷积神经网络（CNN）谁更厉害的争论就没有断过。近日，一直在社交媒体上活跃的图灵奖得主、Meta 首席科学家 Yann LeCun 也加入了 ViT 与 CNN 之争的讨论。这件事的起因是 Comma.ai 的 CTO Harald Schäfer 在展示自家最新研究。他（像