TPAMI
简单通用：视觉基础网络最高3倍无损训练加速，清华EfficientTrain++入选TPAMI 2024
AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：[email protected]；[email protected]本论文作者王语霖是清华大学自动化系 2019 级直博生，师从吴澄院士和黄高副教授，主要研究方向为高效深度学习、计算机视觉等。他曾以第一作者在 TPAMI、NeurIPS、ICLR、ICCV
一阶优化算法启发，北大林宙辰团队提出具有万有逼近性质的神经网络架构的设计方法
以神经网络为基础的深度学习技术已经在诸多应用领域取得了有效成果。在实践中，网络架构可以显著影响学习效率，一个好的神经网络架构能够融入问题的先验知识，稳定网络训练，提高计算效率。目前，经典的网络架构设计方法包括人工设计、神经网络架构搜索（NAS）[1]、以及基于优化的网络设计方法 [2]。人工设计的网络架构如 ResNet 等；神经网络架构搜索则通过搜索或强化学习的方式在搜索空间中寻找最佳网络结构；基于优化的设计方法中的一种主流范式是算法展开（algorithm unrolling），该方法通常在有显式目标函数的情况
- 1