AI在线 AI在线

Mamba

长视频理解新突破！Mamba混合架构让显存消耗腰斩，处理10万视频token不费力

长视频理解新突破！Mamba混合架构让显存消耗腰斩，处理10万视频token不费力
Mamba混合架构视频模型来了，不再对视频token进行压缩——而是通过改进模型架构设计的方式提升模型在训练及推理预填充阶段处理视频token的效率。 图片滑铁卢大学陈文虎团队与多伦多大学、零一万物、向量学院以及M-A-P的研究人员提出了一种新的Mamba-Transformer混合模型Vamba。 图片通过大量实验验证，研究团队发现Vamba在同等硬件条件下可处理的视频帧数较传统Transformer架构提升4倍，训练内存消耗降低50%以上，并且可实现单步训练速度的翻倍。
3/27/2025 12:20:25 PM
Mamba作者带斯坦福同学、导师创业，Cartesia获2700万美元种子轮融资

Mamba作者带斯坦福同学、导师创业，Cartesia获2700万美元种子轮融资
要用 Mamba 做可以在任何地方运行的实时智能系统。 Mamba 这种状态空间模型（SSM）被认为是 Transformer 架构的有力挑战者。 近段时间，相关研究成果接连不断。
12/13/2024 3:44:00 PM
机器之心
从线性注意力视角揭秘视觉Mamba，清华、阿里合作提出全新MILA模型

从线性注意力视角揭秘视觉Mamba，清华、阿里合作提出全新MILA模型
AIxiv专栏是AI在线发布学术、技术内容的栏目。 过去数年，AI在线AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。 如果您有优秀的工作想要分享，欢迎投稿或者联系报道。
12/10/2024 6:08:00 PM
机器之心
准确率87.6%，南农、国防科大、苏大等发布显微图像分类AI新方法

准确率87.6%，南农、国防科大、苏大等发布显微图像分类AI新方法
编辑 | 萝卜皮在医学显微图像分类（MIC）领域，基于 CNN 和 Transformer 的模型得到了广泛的研究。然而，CNN 在建模长距离依赖关系方面存在短板，限制了其充分利用图像中语义信息的能力。相反，Transformer 受到二次计算复杂性的制约。为了解决这些挑战，南京农业大学、国防科技大学、湘潭大学、南京邮电大学、苏州大学组成的联合研究团队提出了一个基于 Mamba 架构的模型：Microscopic-Mamba。具体来说，该团队设计了部分选择前馈网络（PSFFN）来取代视觉状态空间模块（VSSM）的最
9/23/2024 11:55:00 AM
ScienceAI
首个Mamba+Transformer混合架构多模态大模型来了，实现单卡千图推理

首个Mamba+Transformer混合架构多模态大模型来了，实现单卡千图推理
AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：[email protected]；[email protected]
9/21/2024 8:31:00 PM
机器之心
非Transformer架构站起来了！首个纯无注意力大模型，超越开源巨头Llama 3.1

非Transformer架构站起来了！首个纯无注意力大模型，超越开源巨头Llama 3.1
Mamba 架构的大模型又一次向 Transformer 发起了挑战。Mamba 架构模型这次终于要「站」起来了？自 2023 年 12 月首次推出以来，Mamba 便成为了 Transformer 的强有力竞争对手。此后，采用 Mamba 架构的模型不断出现，比如 Mistral 发布的首个基于 Mamba 架构的开源大模型 Codestral 7B。今天，阿布扎比技术创新研究所（TII）发布了一个新的开源 Mamba 模型 ——Falcon Mamba 7B。先来总结一波 Falcon Mamba 7B 的亮点
8/13/2024 2:51:00 PM
机器之心
Falcon Mamba 7B 开源模型登顶：换掉 Transformer，任意长序列都能处理

Falcon Mamba 7B 开源模型登顶：换掉 Transformer，任意长序列都能处理
只是换掉 Transformer 架构，立马性能全方位提升，问鼎同规模开源模型！（注意力机制不存在了）这就是最新 Falcon Mamba 7B 模型。它采用 Mamba 状态空间语言模型架构来处理各种文本生成任务。通过取消传统注意力机制，有效提升了模型处理长序列时计算效率低下的问题。它可以处理无限长序列，但内存需求不增加。无论上下文多长，生成每个 token 的时间基本一样。由此，Falcon Mamba 模型性能全方位提升，打败一众 Transformer 架构模型，如 Llama-3.1（8B）、Mistra
8/13/2024 1:29:03 PM
汪淼
在12个视频理解任务中，Mamba先打败了Transformer

在12个视频理解任务中，Mamba先打败了Transformer
AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：[email protected]；[email protected]。探索视频理解的新境界，Mamba 模型引领计算机视觉研究新潮流！传统架构的局限已被打破，状态空间模型 Mamba 以其在长序列处理上的独特优势，为视频理解领域带来了革命性的变革。来自南京
4/30/2024 3:21:00 PM
机器之心
8/8/6/3的Mamba论文，最终还是被ICLR 2024拒了，网友：悬着的心终于死了

8/8/6/3的Mamba论文，最终还是被ICLR 2024拒了，网友：悬着的心终于死了
几天前，ICLR 2024 的最终接收结果出来了。大家应该还记得，Mamba 被 ICLR 2024 大会 Decision Pending（待定）的消息在 1 月份引发过一波社区热议。当时，多位领域内的研究者分析，Decision Pending 的意思是延迟决定，虽然也可能会被拒，但这篇论文得到了 8/8/6/3 的打分，按理说不至于真被拒。论文审稿页面：，Decision 已出，Mamba 彻底被拒，悬着的心终于死了。「Mamba」发布之初即被视为「Transformer 的强劲竞争者」，它是一种选择性状态空
2/25/2024 8:06:00 PM
机器之心
我们还需要Transformer中的注意力吗？

我们还需要Transformer中的注意力吗？
状态空间模型正在兴起，注意力是否已到尽头？最近几周，AI 社区有一个热门话题：用无注意力架构来实现语言建模。简要来说，就是机器学习社区有一个长期研究方向终于取得了实质性的进展，催生出 Mamba 两个强大的新模型：Mamba 和 StripedHyena。它们在很多方面都能比肩人们熟知的强大模型，如 Llama 2 和 Mistral 7B。这个研究方向就是无注意力架构，现在也正有越来越多的研究者和开发者开始更严肃地看待它。近日，机器学习科学家 Nathan Lambert 发布了一篇题为《状态空间 LLM：我们需
2/16/2024 5:31:00 PM
机器之心
Mamba论文为什么没被ICLR接收？AI社区沸腾了

Mamba论文为什么没被ICLR接收？AI社区沸腾了
基于 Mamba 的创新正不断涌现，但原论文却被 ICLR 放到了「待定区」。2023 年，Transformer 在 AI 大模型领域的统治地位被撼动了。发起挑战的新架构名叫「Mamba」，它是一种选择性状态空间模型（ selective state space model），在语言建模方面可以媲美甚至击败 Transformer。而且，它可以随上下文长度的增加实现线性扩展，其性能在实际数据中可提高到百万 token 长度序列，并实现 5 倍的推理吞吐量提升。在发布之后的一个多月里，Mamba 逐渐展现出自己的影
1/26/2024 2:46:00 PM
机器之心
谁能撼动Transformer统治地位？Mamba作者谈LLM未来架构

谁能撼动Transformer统治地位？Mamba作者谈LLM未来架构
自 2017 年被提出以来，Transformer 已成为 AI 大模型的主流架构，未来这种情况是一直持续，还是会有新的研究出现，我们不妨先听听身处 AI 圈的研究者是怎么想的。在大模型领域，一直稳站 C 位的 Transformer 最近似乎有被超越的趋势。这个挑战者就是一项名为「Mamba」的研究，其在语言、音频和基因组学等多种模态中都达到了 SOTA 性能。在语言建模方面，无论是预训练还是下游评估，Mamba-3B 模型都优于同等规模的 Transformer 模型，并能与两倍于其规模的 Transforme
12/29/2023 11:36:00 AM
机器之心
挑战Transformer的Mamba是什么来头？作者博士论文理清SSM进化路径

挑战Transformer的Mamba是什么来头？作者博士论文理清SSM进化路径
对 SSM 感兴趣的研究者不妨读一下这篇博士论文。在大模型领域，Transformer 凭一己之力撑起了整个江山。但随着模型规模的扩展和需要处理的序列不断变长，Transformer 的局限性也逐渐凸显，比如其自注意力机制的计算量会随着上下文长度的增加呈平方级增长。为了克服这些缺陷，研究者们开发出了很多注意力机制的高效变体，但收效甚微。最近，一项名为「Mamba」的研究似乎打破了这一局面，它在语言建模方面可以媲美甚至击败 Transformer。这都要归功于作者提出的一种新架构 —— 选择性状态空间模型（ sele
12/25/2023 3:48:00 PM
机器之心
五倍吞吐量，性能全面包围Transformer：新架构Mamba引爆AI圈

五倍吞吐量，性能全面包围Transformer：新架构Mamba引爆AI圈
屹立不倒的 Transformer 迎来了一个强劲竞争者。在别的领域，如果你想形容一个东西非常重要，你可能将其形容为「撑起了某领域的半壁江山」。但在 AI 大模型领域，Transformer 架构不能这么形容，因为它几乎撑起了「整个江山」。自 2017 年被提出以来，Transformer 已经成为 AI 大模型的主流架构，但随着模型规模的扩展和需要处理的序列不断变长，Transformer 的局限性也逐渐凸显。一个很明显的缺陷是：Transformer 模型中自注意力机制的计算量会随着上下文长度的增加呈平方级增长
12/5/2023 2:59:00 PM
机器之心
  • 1