AI在线 AI在线

Transformer

你没有看过的全新版本，Transformer数学原理揭秘

你没有看过的全新版本，Transformer数学原理揭秘
近日，arxiv 上发布了一篇论文，对 Transformer 的数学原理进行全新解读，内容很长，知识很多，十二分建议阅读原文。2017 年，Vaswani 等人发表的 《Attention is all you need》成为神经网络架构发展的一个重要里程碑。这篇论文的核心贡献是自注意机制，这是 Transformers 区别于传统架构的创新之处，在其卓越的实用性能中发挥了重要作用。事实上，这一创新已成为计算机视觉和自然语言处理等领域人工智能进步的关键催化剂，同时在大语言模型的出现中也起到了关键作用。因此，了解
1/2/2024 3:05:00 PM
机器之心
谁能撼动Transformer统治地位？Mamba作者谈LLM未来架构

谁能撼动Transformer统治地位？Mamba作者谈LLM未来架构
自 2017 年被提出以来，Transformer 已成为 AI 大模型的主流架构，未来这种情况是一直持续，还是会有新的研究出现，我们不妨先听听身处 AI 圈的研究者是怎么想的。在大模型领域，一直稳站 C 位的 Transformer 最近似乎有被超越的趋势。这个挑战者就是一项名为「Mamba」的研究，其在语言、音频和基因组学等多种模态中都达到了 SOTA 性能。在语言建模方面，无论是预训练还是下游评估，Mamba-3B 模型都优于同等规模的 Transformer 模型，并能与两倍于其规模的 Transforme
12/29/2023 11:36:00 AM
机器之心
给Transformer降降秩，移除特定层90%以上组件LLM性能不减

给Transformer降降秩，移除特定层90%以上组件LLM性能不减
MIT、微软联合研究：不需要额外训练，也能增强大语言模型的任务性能并降低其大小。在大模型时代，Transformer 凭一己之力撑起了整个科研领域。自发布以来，基于 Transformer 的 LLM 在各种任务上表现出卓越的性能，其底层的 Transformer 架构已成为自然语言建模和推理的最先进技术，并在计算机视觉和强化学习等领域显示出强有力的前景。然而，当前 Transformer 架构非常庞大，通常需要大量计算资源来进行训练和推理。 这是有意为之的，因为经过更多参数或数据训练的 Transformer 显
12/26/2023 3:18:00 PM
机器之心
五倍吞吐量，性能全面包围Transformer：新架构Mamba引爆AI圈

五倍吞吐量，性能全面包围Transformer：新架构Mamba引爆AI圈
屹立不倒的 Transformer 迎来了一个强劲竞争者。在别的领域，如果你想形容一个东西非常重要，你可能将其形容为「撑起了某领域的半壁江山」。但在 AI 大模型领域，Transformer 架构不能这么形容，因为它几乎撑起了「整个江山」。自 2017 年被提出以来，Transformer 已经成为 AI 大模型的主流架构，但随着模型规模的扩展和需要处理的序列不断变长，Transformer 的局限性也逐渐凸显。一个很明显的缺陷是：Transformer 模型中自注意力机制的计算量会随着上下文长度的增加呈平方级增长
12/5/2023 2:59:00 PM
机器之心
简化版Transformer来了，网友：年度论文

简化版Transformer来了，网友：年度论文
从大模型的根源开始优化。Transformer 架构可以说是近期深度学习领域许多成功案例背后的主力军。构建深度 Transformer 架构的一种简单方法是将多个相同的 Transformer 「块」（block）依次堆叠起来，但每个「块」都比较复杂，由许多不同的组件组成，需要以特定的排列组合才能实现良好的性能。自从 2017 年 Transformer 架构诞生以来，研究者们基于其推出了大量衍生研究，但几乎没有改动过 Transformer 「块」。那么问题来了，标准 Transformer 块是否可以简化？在最
11/28/2023 3:08:00 PM
机器之心
DeepMind指出「Transformer无法超出预训练数据实现泛化」，但有人投来质疑

DeepMind指出「Transformer无法超出预训练数据实现泛化」，但有人投来质疑
难道 Transformer 注定无法解决「训练数据」之外的新问题？说起大语言模型所展示的令人印象深刻的能力，其中之一就是通过提供上下文中的样本，要求模型根据最终提供的输入生成一个响应，从而实现少样本学习的能力。这一点依靠的是底层机器学习技术「Transformer 模型」，并且它们也能在语言以外的领域执行上下文学习任务。以往的经验表明，对于在预训练混合体中得到充分体现的任务族或函数类，选择适当函数类进行上下文学习的成本几乎为零。因此有研究者认为，Transformer 能很好地泛化与训练数据相同分布的任务 / 函
11/7/2023 3:00:00 PM
机器之心
能胜任统计学家？Transformers超强学习机制「自动算法选择」

能胜任统计学家？Transformers超强学习机制「自动算法选择」
Salesforce AI Research、北京大学和 UC 伯克利合作的最新论文，发现 Transformer 模型在上下文中学习（in-context learning）的新机制：「自动算法选择」，类似统计与机器学习专家能够现实完成的工作。
7/18/2023 3:01:00 PM
机器之心
基于Transformer的大模型是如何运行的？Meta从全局和上下文学习揭秘

基于Transformer的大模型是如何运行的？Meta从全局和上下文学习揭秘
本文旨在更好地理解基于 Transformer 的大型语言模型（LLM）的内部机制，以提高它们的可靠性和可解释性。
6/22/2023 1:25:00 PM
机器之心
想把半本《红楼梦》搬进ChatGPT输入框？先把这个问题解决掉

想把半本《红楼梦》搬进ChatGPT输入框？先把这个问题解决掉
从 GPT-4 的 32k 到谷歌 CoLT5 的 64k 再到最新研究的 200万 token，类ChatGPT 模型们可以处理的文本长度正在急剧增加，这意味着它们的应用范围也越来越广。或许有一天，ChatGPT 能帮乔治·马丁把《冰与火之歌》（权力的游戏）写完呢？过去两年，斯坦福大学 Hazy Research 实验室一直在从事一项重要的工作：增加序列长度。 他们有一种观点：更长的序列将开启机器学习基础模型的新时代 —— 模型可以从更长的上下文、多种媒体源、复杂的演示等中学习。目前，这项研究已经取得了新进展。H
4/27/2023 3:11:00 PM
机器之心
ICASSP 2022 | 用于多模态情感识别的KS-Transformer

ICASSP 2022 | 用于多模态情感识别的KS-Transformer
多模态情感识别是人机交互中的重要技术，也是人工智能走向类人智能时所需要攻克的关键难题。
12/20/2022 3:34:00 PM
优必选科技
解锁CNN和Transformer正确结合方法，字节跳动提出有效的下一代视觉Transformer

解锁CNN和Transformer正确结合方法，字节跳动提出有效的下一代视觉Transformer
来自字节跳动的研究者提出了一种能在现实工业场景中有效部署的下一代视觉 Transformer，即 Next-ViT。Next-ViT 能像 CNN 一样快速推断，并有 ViT 一样强大的性能。
7/22/2022 5:26:00 PM
机器之心
Creator 面对面 | 大模型的最后一公里路“不太平”

Creator 面对面 | 大模型的最后一公里路“不太平”
自 2018 年谷歌推出 BERT 以来，语言模型就开始朝着「大模型」的方向演进。21 年诸如华为联合鹏城实验室 2000 亿参数的盘古、谷歌 1.6 万亿参数的 Switch Transfomer、智源研究院 1.75 万亿参数的的悟道 2.0 等相继产出。
7/19/2022 3:44:00 PM
SOTA模型
39亿参数模型公开可用，采样速度7倍提升，残差量化生成图片入选CVPR'22

39亿参数模型公开可用，采样速度7倍提升，残差量化生成图片入选CVPR'22
基于残差量化的自回归图像生成，官方已将代码公开。
3/27/2022 12:42:00 PM
机器之心
华为诺亚调研200多篇文献，视觉Transformer综述入选TPAMI 2022

华为诺亚调研200多篇文献，视觉Transformer综述入选TPAMI 2022
华为诺亚方舟实验室联合北大和悉大整理了业界第一篇视觉Transformer综述。
2/23/2022 2:55:00 PM
机器之心
论文分享 | 丢弃卷积，纯Transformer构建GAN网络

论文分享 | 丢弃卷积，纯Transformer构建GAN网络
最近，计算机视觉（CV）领域的研究者对 Transformer 产生了极大的兴趣并陆续取得了不少突破。比如，2020 年 5 月，Facebook AI 的研究者推出了 Transformer 的视觉版本——Detection Transformer，在性能上媲美当时的 SOTA 方法，但架构得到了极大简化；10 月，谷歌提出了 Vision Transformer (ViT)，可以直接利用 transformer 对图像进行分类，而不需要卷积网络。
2/26/2021 2:27:00 PM
机器之心