Kolmogorov-Arnold 网络

Transformer要变Kansformer？用了几十年的MLP迎来挑战者KAN

MLP（多层感知器）用了几十年了，真的没有别的选择了吗？多层感知器（MLP），也被称为全连接前馈神经网络，是当今深度学习模型的基础构建块。MLP 的重要性无论怎样强调都不为过，因为它们是机器学习中用于逼近非线性函数的默认方法。然而，MLP 是否就是我们能够构建的最佳非线性回归器呢？尽管 MLP 被广泛使用，但它们存在明显的缺陷。例如，在 Transformer 模型中，MLP 几乎消耗了所有非嵌入式参数，并且通常在没有后处理分析工具的情况下，相对于注意力层来说，它们的可解释性较差。所以，是否有一种 MLP 的替代选