-
准确率87.6%，南农、国防科大、苏大等发布显微图像分类AI新方法
编辑 | 萝卜皮在医学显微图像分类（MIC）领域，基于 CNN 和 Transformer 的模型得到了广泛的研究。然而，CNN 在建模长距离依赖关系方面存在短板，限制了其充分利用图像中语义信息的能力。相反，Transformer 受到二次计算复杂性的制约。为了解决这些挑战，南京农业大学、国防科技大学、湘潭大学、南京邮电大学、苏州大学组成的联合研究团队提出了一个基于 Mamba 架构的模型：Mic…- 21
- 0
-
首个Mamba+Transformer混合架构多模态大模型来了，实现单卡千图推理
AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：[email protected]；[email protected]- 5
- 0
-
一文看懂Mamba，Transformer最强竞争者
Mamba 虽好，但发展尚早。深度学习架构有很多，但近些年最成功的莫过于 Transformer，其已经在多个应用领域确立了自己的主导地位。如此成功的一大关键推动力是注意力机制，这能让基于 Transformer 的模型关注与输入序列相关的部分，实现更好的上下文理解。但是，注意力机制的缺点是计算开销大，会随输入规模而二次增长，也因此就难以处理非常长的文本。好在前段时间诞生了一种颇具潜力的新架构：结…- 11
- 0
-
非Transformer架构站起来了！首个纯无注意力大模型，超越开源巨头Llama 3.1
Mamba 架构的大模型又一次向 Transformer 发起了挑战。Mamba 架构模型这次终于要「站」起来了？自 2023 年 12 月首次推出以来，Mamba 便成为了 Transformer 的强有力竞争对手。此后，采用 Mamba 架构的模型不断出现，比如 Mistral 发布的首个基于 Mamba 架构的开源大模型 Codestral 7B。今天，阿布扎比技术创新研究所（TII）发布了…- 3
- 0
-
Falcon Mamba 7B 开源模型登顶：换掉 Transformer，任意长序列都能处理
只是换掉 Transformer 架构，立马性能全方位提升，问鼎同规模开源模型！（注意力机制不存在了）这就是最新 Falcon Mamba 7B 模型。它采用 Mamba 状态空间语言模型架构来处理各种文本生成任务。通过取消传统注意力机制，有效提升了模型处理长序列时计算效率低下的问题。它可以处理无限长序列，但内存需求不增加。无论上下文多长，生成每个 token 的时间基本一样。由此，Falcon …- 8
- 0
-
在12个视频了解工作中，Mamba先打败了Transformer
AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：[email protected]；[email protected]。探究视频了解的新境界，Mamba 模型引领计算机视觉研讨新潮流！传…- 6
- 0
-
RNN效率媲美Transformer，谷歌新架构两连发：同等规模强于Mamba
去年 12 月，新架构 Mamba 引爆了 AI 圈，向屹立不倒的 Transformer 发起了挑战。如今，谷歌 DeepMind「Hawk 」和「Griffin 」的推出为 AI 圈提供了新的选择。这一次，谷歌 DeepMind 在基础模型方面又有了新动作。我们知道，轮回神经网络（RNN）在深度学习和自然语言处理研究的早期发挥了核心作用，并在许多应用中取得了实功，包括谷歌第一个端到端机器翻译系…- 6
- 0
-
8/8/6/3的Mamba论文，终究还是被ICLR 2024拒了，网友：悬着的心终于死了
几天前，ICLR 2024 的终究领受结果出来了。大家应该还记得，Mamba 被 ICLR 2024 大会 Decision Pending（待定）的消息在 1 月份引发过一波社区热议。当时，多位领域内的研究者分析，Decision Pending 的意思是延迟决定，虽然也可能会被拒，但这篇论文得到了 8/8/6/3 的打分，按理说不至于真被拒。论文审稿页面：，Decision 已出，Mamba …- 15
- 0
-
我们还需要Transformer中的注意力吗？
形态空间模型正在兴起，注意力是否已到尽头？最近几周，AI 社区有一个热门话题：用无注意力架构来实现谈话建模。简要来说，就是机器进修社区有一个长期钻研方向终于取得了实质性的进展，催生出 Mamba 两个强大的新模型：Mamba 和 StripedHyena。它们在很多方面都能比肩人们熟知的强大模型，如 Llama 2 和 Mistral 7B。这个钻研方向就是无注意力架构，现在也正有越来越多的钻研者…- 3
- 0
-
Mamba论文为什么没被ICLR领受？AI社区沸腾了
基于 Mamba 的创新正不断涌现，但原论文却被 ICLR 放到了「待定区」。2023 年，Transformer 在 AI 大模型领域的统治地位被撼动了。发起挑战的新架构名叫「Mamba」，它是一种选择性状态空间模型（ selective state space model），在说话建模方面可以媲美甚至击败 Transformer。而且，它可以随上下文长度的增加实现线性扩展，其功能在实际数据中可…- 3
- 0
-
谁能撼动Transformer统治地位？Mamba作者谈LLM未来架构
自 2017 年被提出以来，Transformer 已成为 AI 大模型的主流架构，未来这种情况是一直持续，还是会有新的研讨出现，我们不妨先听听身处 AI 圈的研讨者是怎么想的。在大模型范围，一直稳站 C 位的 Transformer 最近似乎有被超越的趋势。这个挑战者就是一项名为「Mamba」的研讨，其在谈话、音频和基因组学等多种模态中都达到了 SOTA 功能。在谈话建模方面，无论是预训练还是下…- 4
- 0
-
应战Transformer的Mamba是什么来头？作家博士论文理清SSM进化路径
对 SSM 感兴趣的研究者不妨读一下这篇博士论文。在大模型领域，Transformer 凭一己之力撑起了整个江山。但随着模型规模的扩展和需要处置惩罚的序列不断变长，Transformer 的局限性也逐渐凸显，比如其自注意力机制的算计量会随着上下文长度的增加呈平方级增长。为了克服这些缺陷，研究者们开发出了很多注意力机制的高效变体，但收效甚微。最近，一项名为「Mamba」的研究似乎打破了这一局面，它在…- 8
- 0
-
五倍吞吐量，本能全面包围Transformer：新架构Mamba引爆AI圈
屹立不倒的 Transformer 迎来了一个强劲竞争者。在别的领域，如果你想形容一个东西非常重要，你可能将其形容为「撑起了某领域的半壁江山」。但在 AI 大模型领域，Transformer 架构不能这么形容，因为它几乎撑起了「整个江山」。自 2017 年被提出以来，Transformer 已经成为 AI 大模型的主流架构，但随着模型规模的扩展和需要处理的序列不断变长，Transformer 的局…- 2
- 0
扫码打开当前页
-
￥优惠劵使用时效：无法使用使用时效：
之前
使用时效：永久有效优惠劵ID：×