本月初，来自 MIT 等机构的研究者提出了一种非常有潜力的 MLP 替代要领 ——KAN。
KAN 在准确性和可解释性方面表现优于 MLP，而且它能以非常少的参数目胜过以更大参数目运行的 MLP。比如，作家表明，他们用 KAN 以更小的收集和更高的自动化程度重现了 DeepMind 的结果。具体来说，DeepMind 的 MLP 有大约 300000 个参数，而 KAN 只有大约 200 个参数。
KAN 与 MLP 一样具有强大的数学基础，MLP 鉴于通用逼近定理，而 KAN 鉴于 Kolmogorov-Arnold 表明定理。
如下图所示，KAN 在边上具有激活函数，而 MLP 在节点上具有激活函数。KAN 似乎比 MLP 的参数效率更高，但每一个 KAN 层比 MLP 层拥有更多的参数。
最近，有研究者将 KAN 创新架构的理念扩展到卷积神经收集，将卷积的典范线性变换更改为每一个像素中可学习的非线性激活函数，提出并开源 KAN 卷积（CKAN）。
项目地址：https://github.com/AntonioTepsich/Convolutional-KANs
KAN 卷积
KAN 卷积与卷积非常相似，但不是在内核和图像中相应像素之间应用点积，而是对每一个元素应用可学习的非线性激活函数，然后将它们相加。KAN 卷积的内核相当于 4 个输出和 1 个输出神经元的 KAN 线性层。对于每一个输出 i，应用 ϕ_i 可学习函数，该卷积步骤的结果像素是 ϕ_i (x_i) 的总和。
KAN 卷积中的参数
假设有一个 KxK 内核，对于该矩阵的每一个元素，都有一个 ϕ，其参数计数为：gridsize + 1，ϕ 定义为：
这为激活函数 b 提供了更多的可表达性，线性层的参数计数为 gridsize + 2。因此，KAN 卷积总共有 K^2(gridsize + 2) 个参数，而普通卷积只有 K^2。
开端评估
作家测试过的不同架构有：
毗邻到 KAN 线性层的 KAN 卷积层（KKAN）
与 MLP 相连的 KAN 卷积层（CKAN）
在卷积之间进行批量归一化的 CKAN (CKAN_BN)
ConvNet（毗邻到 MLP 的典范卷积）（ConvNet）
简单 MLP
作家表明，KAN 卷积的实现是一个很有前景的想法，尽管它仍处于早期阶段。他们进行了一些开端尝试，以评估 KAN 卷积的功能。
值得注意的是，之所以公布这些「开端」结果，是因为他们希望尽快向外界介绍这一想法，推动社区更广泛的研究。
卷积层中列表每一个元素都包含卷积数和相应的内核大小。
鉴于 28×28 MNIST 数据集，可以观察到 KANConv & MLP 模型与 ConvNet（大）相比达到了可接受的准确度。然而，不同之处在于 KANConv & MLP 所需的参数数目是标准 ConvNet 所需的参数数目的 7 倍。此外，KKAN 的准确率比 ConvNet Medium 低 0.04，而参数数目（94k 对 157k）几乎只有 ConvNet Medium 的一半，这显示了该架构的潜力。我们还需要在更多的数据集上进行尝试，才能对此得出结论。
在接下来的几天和几周里，作家还将彻底调整模型和用于比较的模型的超参数。虽然已经尝试了一些超参数和架构的变化，但这只是启发式的，并没有采用任何精确的要领。由于计算能力和时间的原因，他们还没有使用大型或更复杂的数据集，并正在努力解决这个问题。
未来，作家将在更复杂的数据集上进行尝试，这意味着 KANS 的参数目将会增加，因为需要实现更多的 KAN 卷积层。
结论
目前，与传统卷积收集相比，作家表明并没有看到 KAN 卷积收集的功能有显著提高。他们分析认为，这是由于使用的是简单数据集和模型，与尝试过的最佳架构（ConvNet Big，鉴于规模因素，这种比较是不公平的）相比，该架构的优势在于它对参数的要求要少得多。
在 2 个相同的卷积层和 KAN 卷积层与最后毗邻的相同 MLP 之间进行的比较显示，典范要领略胜一筹，准确率提高了 0.06，而 KAN 卷积层和 KAN 线性层的参数数目几乎只有典范要领的一半，准确率却降低了 0.04。
作家表明，随着模型和数据集复杂度的增加，KAN 卷积收集的功能应该会有所提高。同时，随着输出维数的增加，模型的参数数目也会增长得更快。