2022 年 1 月，华为诺亚方舟决策推理实验室郝建业主任，上海交通大学自然科学钻研院和数学科学学院副老师王宇光和清华大学智能产业钻研院（AIR）助理老师黄文炳做客呆板之心「2021-2022 年度 AI 技巧趋势洞察」直播间，共同探讨了「通往第三代人工智能的实践之路如何走？」这一主题，洞察 AI 技巧在「AI 算法实践」方面的进展趋势与潮水所向。
AI算法实践当前进展情况
在2021年AI实践方面的工作中，最让您印象深刻的是哪个？为什么？
首先，郝建业主任谈到，21 年整个 AI 进展得特别很是快，如果从大的 AI 偏向来讲，能够印象最深的就是大模型，尤其从最开始的 NLP 规模的大模型，从 BERT 到 GPT 2 到 GPT 3，包括到现在受 GPT 的一个启发，在 CV 规模也开始涌现出一些所谓 CV 规模的一些视觉大模型，那么这块能够是目前对整个 AI 规模的冲击最大的一个技巧的进展。尤其在工业界也特别很是重视大模型的这个技巧突破，也很多人会觉得它能够会打造一个新一代的服务模式，由这个 Software-as-a-Service 到 Big Model as A Service 来达到通用的云服务能力。那么这个就能够是今年 在 AI 方面无论是对学术界还产业界冲击最大的一方面。再来一个方面是有关进修优化的钻研，其中，郝建业主任谈到 DeepMind 联合谷歌用神经网络与呆板进修方法来解决混合整数规划（MP）课题用于基础 MIP 求解器这一工作来指出交叉混合的趋势也能够是现在一个主流的钻研偏向，尤其是交叉混合可以用在在解决一些传统大规模的优化课题上。
接着，王宇光老师谈到自己第一个吸引他的点是图神经网络在优化课题上的应用。王宇光老师觉得通过深度进修加快优化课题的求解是一个较为好的趋势。例如使用图神经网络来将数学猜想证明转换成对图神经网络的搜索课题，借助深度进修的快速训练能力来提高对搜索课题解决的效率。此外，王宇光老师提到谷歌今年一项热门的钻研：Graph Kernel Attention Transformers（GKATs）来指出利用 Transformer 结合图神经网络来达到更好的效果也是值得关注的一个趋势。
最后，黄文炳老师补充说到除了大模型、Transformer 的应用趋势外，自己印象深刻的是图灵奖获得者 Geoffrey Hinton 在 21 年年初发布最新论文讲解 GLOM，表达神经网络中部分-整体层次结构这个工作。以此来指出在模型设计中加入若干属性的设计能够是现在一个进展的潜力偏向。
1月初您在上海和几位学者共同发起了“进修与优化”研讨会，邀请了白盒优化、加强进修、演化进修等黑盒优化规模的知名学者进行分享，可否请您分享一下研讨会上您印象较为深刻较为有启发的思路与工作？
郝建业主任回答道，做“进修与优化”研讨会是希望把做进修与优化，包括白盒优化、加强进修、演化进修等的一些知名学者汇聚在一起去深入交流探讨现在进修优化偏向的演进思路。探讨后大家都一致觉得现在应该重点去突破或者关注的一个偏向就是如何将这个呆板进修和传统的优化算法去做混合，来帮助更好地解决大规模，比如说上百万甚至上千万变量或者是优化的约束课题。例如，郝建业主任所在团队做的一个尝试：对求解空间做一个自适应的进修和优化可以极大地提升整个求解课题的效率。
张钹院士在《迈向第三代人工智能》一文中将符号主义称为第一代 AI, 称连接主义为第二代 AI, 将要进展的 AI 称为第三代 AI，您如何理解第三代人工智能？经过几十年的进展，人工智能演化出了多个分支流派，这些分支一直都在彼此争夺主导权，第二代人工智能的爆发，主要源于连接主义的神经网络有了突破性进展；您觉得，下一代人工智能将由哪个流派主导？
黄文炳老师回答道张院士提到的第三代人工智能是恰逢其时的。在《迈向第三代人工智能》一文中，对于下一代人工智能的模式，张院士提到知识和数据的结合，即符号主义和连接主义的联姻。黄文炳老师赞成这一观点。黄文炳老师觉得 AI 进展到今天很大的成功，还是归根于这个深度进修跟大数据的结合。但除此之外，我们还看到很多其他的规模，特别是科学规模，不只要求让呆板模拟普通人的智能，更应该是去学会专家的智能。这种情况下我们怎么获取这种数据是特别很是困难的。例如 AI 医疗中的药物研发这一规模的数据获取以及标注。而张院士提到跟知识结合是一个特别很是好的解决方案，即我们能不能把专家规模的一些知识凝练成一些规律，也甚至可以凝练成王老师谈到的若干的信息，比如若干物理、化学的这种性质加到模型的设计当中，从而来减少我们对数据的依赖，这是下一代人工智能一个特别重要的偏向。
在这个课题上，王宇光老师跟黄文炳老师的观点一样，觉得如何把 AI 和各个 Science 结合起来是现在的一个很重要的偏向，比如和量子化学相结合用来预测分子对应的一些特性。
郝建业主任也回答到关于 AI 与多个科学规模的知识混合已经成为一个共识。但目前的混合方式还有很大的进展空间，新的进修范式现在需要重点去钻研和突破。包括现在的大模型，是纯数据驱动的一个方式，它对计算资源的依赖特别很是大，这就导致只有头部的公司才有足够的资源来投入相关钻研。怎么去做更轻量的数据，更高效的计算资源，更高效的模型是第三代 AI 的进展中能够得到一个好的答案。
观众提问：加强进修的稳定性的课题是否比深度进修更有机会被证明？
针对该课题郝建业主任谈到，加强进修的稳定性课题目前还没得到有效的解释和证明，这也和深度进修的可解释性相关。在深度进修可解释性得到解决前，我们可以通过加强进修深度模型和传统的方式做有机混合，达到控制策略的泛化性从而保证在各种 Corner Case 的情况下的应用仍然是安全可控的。
AI实践钻研背后的科学钻研
据您所知近期是否有哪些目前相对较为小众但有前景（有意思）的跨规模钻研？可否请您为观众简要介绍一下？
首先由王老师回答，他觉得较为小众且有趣的跨规模钻研之一是 21 年末 DeepMind 登上 Nature 的一篇文章 《Advancing mathematics by guiding human intuition with AI》，该文章提出的框架使得数学家可以通过使用呆板进修工具来启发他们对复杂数学对象的直觉，将统计学和呆板进修很好地融入了数学钻研。另外一个是王老师自己最近的钻研，通过胃癌的染色切片数据训练模型来预测癌症病人生存期的课题。如果仅通过图片的划分来形成样本后通过 CNN 训练的话，效果仅 60%，但后来通过将肿瘤钻研中的肿瘤微环境通过图来表达，利用图神经网络，最终使效果得到惊人的提升，达到 96%。
之后黄老师补充到，图神经网络应用到物理规模也是一大趋势。比如物质是由粒子组成的，原子组成分子，分子组成蛋白质，蛋白质组成细胞等等，这本身其实就是一个个的图，特别很是适合用图神经网络来建模和表示。最后黄老师还分享了他们清华大学智能产业钻研院与腾讯 AI Lab 的合作，共同提出了一种新型的图力学神经网络，首次对实践力学中如连杆、铰链等基本单元及其交互进行了动力学建模，并且这个图神经网络满足物理中的一个重要性质–对称性，即关于旋转和平移等变，初步在分子动力学模拟、人体骨架轨迹预测等进行了效果验证。
人工智能技巧的进展离不开其他基础科学的支撑，您觉得哪些基础科学难题的攻克或具体技巧的进一步进展有能够使人工智能技巧取得下一个跨越式进展？
针对该课题，郝建业主任觉得需要三个方面的突破，即如何学的好、学的快、学的稳。
第一个学的好，它背后对应的挑战其实就是最优先的课题，包括如何设计好系统分配的机制去实现最优先的课题。
第二个学的快，其实就是收敛性的课题，如何能确保它的快速收敛。比如可以用表征进修、迁移进修的一些范式去解决收敛性的课题。
第三个学的稳，其实就是解决稳健性的课题，如何提升 policy，在训练的过程中自动的生成一种较为多样化的 policy，以及如何在部署之后能够表现出一个特别很是自适应的泛化性和稳健性。
他还提到，一方面，这些背后都对应了一些基础性的一些科学难题，需要我们进一步去攻克。另一方面，除了用比如基础学科来助力 AI 之外，我们能够更需要关注如何使 AI 去助力其他学科或者是其他实际的应用的一个进步。
王老师后补充到，人工智能并不仅仅是其算法本身或者是数学本身能够去提升它，例如传统深度进修的发力点是由于 GPU 的引入，是因为算力的提升。因此如果量子科学、量子计算等规模的难题的被攻克或具体技巧的进步，对人工智能来说也将是一个特别很是大的助力。还有就是脑科学的钻研，下一代人工智能的设计比如通用人工智能的一些技巧和模块，可以从脑科学的钻研中得到启发。
AI 实践进展趋势现在展望
您觉得在您所从事的规模，下面进一步进展，存在的主要瓶颈是什么？以及下一年在AI实践整体方面，能够会有较大进展与突破的偏向是什么？有没有您觉得较为值得关注和跟踪的团队或者项目？
首先回答的是郝建业主任，他觉得目前国外尤其是美国和加拿大对于这个规模的钻研或者是布局是更领先的，它们的钻研团队也是相对实力特别很是雄厚的，比如较为熟悉的 DeepMind、UC Berkeley 和 加拿大的阿尔伯塔大学等等。同样加强进修的这一波浪潮也是由 DeepMind 发起的。在国内，可以发现越来越多的团队投入或是转向加强进修，成为一大趋势。他还说，从近两年的几大顶会的文章中可以发现，加强进修的文章已经开始超过深度进修，成为头号关键词，这也反映出加强进修是一个较为火热的一个进展趋势。
之后，王老师也发表了见解，提到其所在规模面临的主要瓶颈是图神经网络很难形成大规模，容易出现一个称谓 overscorching 的信息瓶颈课题。针对此课题的解决，项目比如 DeepMind 解释信息瓶颈的钻研和 Twitter research 用黎曼若干的黎曼曲率钻研信息流的课题是王老师目前较为关注的。他还提到如果把 transformer 看成图神经网络的话，transformer 目前缺乏数学实践的支撑，比如表达能力的钻研、逼近阶的钻研等等，这将是现在的一大挑战。此外，王老师推荐关注最早编写了的 Geometric Deep Learning 的综述的牛津大学的 Michael Brown 老师的团队，还有阿姆斯特丹大学的 Max Welling 等钻研。
最后，黄老师补充到，人工智能与多种技巧学科的交叉是现在的一个大偏向，其从大的角度的来看的瓶颈有如下两点：
数据难获取。与各个交叉学科的学校、企业或是科研机构合作从而获取数据的这一过程特别很是困难。
交叉学科人才少。人工智能目前进展到 AI + X 的模式，要求钻研人员对多学科的基础规模有充分的认识。
当然这既是一种挑战又是一个机遇，给我们提出了人才培养的一种新的偏向。
黄老师还提到，如果深度进修之前的图神经网络钻研为 1.0 版本，那么现在基于深度进修的图神经网络还处在 2.0 的版本，现在图神经网络将有能够进展为 3.0 版本，即更多是若干等变图神经网络的钻研，让图神经网络能处理多种具有物理、若干空间等属性的数据结构，例如分子、蛋白质、物理刚体系统等，使得它满足物理对称性，并指出这是现在的进展偏向。同样其进展的瓶颈是上述提到的两个方面，数据和人才。另外黄老师推荐关注的有早在2016年 ICML 上提出群等变卷积神经网络（Group equivariant Convolutional Neural Networks）的 Cohen 和 以色列大学的获得 ICML best paper 的 Haggai Maron。
