全连接前馈神经网络

MLP（多层感知器）用了几十年了，真的没有别的选择了吗？多层感知器（MLP），也被称为全连接前馈神经网络，是当今深度进修模型的基础构建块。MLP 的重要性无论怎样强调都不为过，因为它们是机器进修中用于逼近非线性函数的默认方法。然而，MLP 是否就是我们能够构建的最佳非线性回归器呢？尽管 MLP 被广泛应用，但它们存在明显的缺陷。例如，在 Transformer 模型中，MLP 几乎消耗了所有非嵌入…