Transformer

MIT、微软联合钻研：不需要额外训练，也能增强大语言模型的工作机能并降低其大小。在大模型时代，Transformer 凭一己之力撑起了整个科研领域。自发布以来，基于 Transformer 的 LLM 在各种工作上表现出卓越的机能，其底层的 Transformer 架构已成为自然语言建模和推理的最先进技术，并在计算机视觉和强化学习等领域显示出强有力的前景。然而，当前 Transformer 架构非…

屹立不倒的 Transformer 迎来了一个强劲竞争者。在别的领域，如果你想形容一个东西非常重要，你可能将其形容为「撑起了某领域的半壁江山」。但在 AI 大模型领域，Transformer 架构不能这么形容，因为它几乎撑起了「整个江山」。自 2017 年被提出以来，Transformer 已经成为 AI 大模型的主流架构，但随着模型规模的扩展和需要处理的序列不断变长，Transformer 的局…

从大模型的根源开始优化。Transformer 架构可以说是近期深度学习领域许多成功案例背后的主力军。构建深度 Transformer 架构的一种简单方法是将多个相同的 Transformer 「块」（block）依次堆叠起来，但每个「块」都比较复杂，由许多不同的组件组成，需要以特定的排列组合才能实现良好的机能。自从 2017 年 Transformer 架构诞生以来，钻研者们基于其推出了大量衍生…

难道 Transformer 注定无法解决「训练数据」之外的新成绩？说起大语言模型所展示的令人印象深刻的才智，其中之一就是通过提供上下文中的样本，要求模型根据最终提供的输入生成一个响应，从而实现少样本进修的才智。这一点依靠的是底层机器进修技术「Transformer 模型」，并且它们也能在语言以外的领域执行上下文进修任务。以往的经验注解，对于在预训练混合体中得到充分体现的任务族或函数类，挑选适当函…

Salesforce AI Research、北京大学和 UC 伯克利合作的最新论文，发现 Transformer 模型在上下文中进修（in-context learning）的新体制：「主动算法采用」，类似统计与呆板进修专家可以现实完成的工作。

本文旨在更好地理解基于 Transformer 的大型谈话模型（LLM）的内部体制，以提高它们的可靠性和可解释性。

从 GPT-4 的 32k 到谷歌 CoLT5 的 64k 再到最新钻研的 200万 token，类ChatGPT 模型们可以处理的文本长度正在急剧增长，这意味着它们的应用范围也越来越广。或许有一天，ChatGPT 能帮乔治·马丁把《冰与火之歌》（权力的游戏）写完呢？过去两年，斯坦福大学 Hazy Research 实验室一直在从事一项重要的工作：增长序列长度。 他们有一种观点：更长的序列将开启机…

多模态感情鉴别是人机交互中的重要技术，也是人工智能走向类人智能时所需要攻克的关键难题。

来自字节跳动的钻研者提出了一种能在现实工业场景中有效摆设的下一代视觉 Transformer，即 Next-ViT。Next-ViT 能像 CNN 一样快速推断，并有 ViT 一样强大的功能。

自 2018 年谷歌推出 BERT 以来，语言模型就开始朝着「大模型」的偏向演进。21 年诸如华为联合鹏城实验室 2000 亿参数的盘古、谷歌 1.6 万亿参数的 Switch Transfomer、智源研究院 1.75 万亿参数的的悟道 2.0 等相继产出。

基于残差量化的自回归图象生成，官方已将代码公开。

华为诺亚方舟实验室联合北大和悉大整理了业界第一篇视觉Transformer综述。

最近，计算机视觉（CV）领域的研讨者对 Transformer 产生了极大的兴趣并陆续取得了不少突破。比如，2020 年 5 月，Facebook AI 的研讨者推出了 Transformer 的视觉版本——Detection Transformer，在性能上媲美当时的 SOTA 方法，但架构得到了极大简化；10 月，谷歌提出了 Vision Transformer (ViT)，可以直接利用 tr…