Transformer
解锁CNN和Transformer正确结合方法，字节跳动提出有效的下一代视觉Transformer
来自字节跳动的研究者提出了一种能在现实工业场景中有效部署的下一代视觉 Transformer，即 Next-ViT。Next-ViT 能像 CNN 一样快速推断，并有 ViT 一样强大的性能。
Creator 面对面 | 大模型的最后一公里路“不太平”
自 2018 年谷歌推出 BERT 以来，语言模型就开始朝着「大模型」的方向演进。21 年诸如华为联合鹏城实验室 2000 亿参数的盘古、谷歌 1.6 万亿参数的 Switch Transfomer、智源研究院 1.75 万亿参数的的悟道 2.0 等相继产出。
39亿参数模型公开可用，采样速度7倍提升，残差量化生成图片入选CVPR'22
基于残差量化的自回归图像生成，官方已将代码公开。
华为诺亚调研200多篇文献，视觉Transformer综述入选TPAMI 2022
华为诺亚方舟实验室联合北大和悉大整理了业界第一篇视觉Transformer综述。
论文分享 | 丢弃卷积，纯Transformer构建GAN网络
最近，计算机视觉（CV）领域的研究者对 Transformer 产生了极大的兴趣并陆续取得了不少突破。比如，2020 年 5 月，Facebook AI 的研究者推出了 Transformer 的视觉版本——Detection Transformer，在性能上媲美当时的 SOTA 方法，但架构得到了极大简化；10 月，谷歌提出了 Vision Transformer (ViT)，可以直接利用 transformer 对图像进行分类，而不需要卷积网络。