28 日，阿里巴巴达摩院颁布 2022 十大科技趋势。其中，“大模型参数竞赛进入冷静期，大小模型将在云边端配合退化”的断言，在 AI 圈备受关注。
2021 是大模型爆发之年，我们见证了大模型的惊艳，但也了解了现在大模型的一些局限，如显著的高能耗等课题。
达摩院认为，超大规模预训练模型是从弱人工智能向通用人工智能的突破性索求，解决了传统深度进修的利用碎片化难题，但性能与能耗提升不成比例的效率课题限制了参数规模继续扩张。
接下来，人工智能研究将从大模型参数竞赛走向大小模型的配合退化，大模型向边、端的小模型输出模型才能，小模型负责实际的推理与实行，同时小模型再向大模型反馈算法与实行成效，让大模型的才能持续强化，形成有机循环的智能体系。
周志华、唐杰、杨红霞等多位学界、业界代表性专家，对此发表了评论。
大模型接下来会如何落后？岁末年初之际，让我们回顾大模型的过去，展望大模型的未来。
大小模型将承担不同角色
南京大学计算机科学与技术系主任兼人工智能学院院长 周志华
大模型一方面在不少课题上取得了以往难以预期的成功，另一方面其巨大的训练能耗和碳排放是不能忽视的课题。个人以为，大模型未来会在一些事关国计民生的重大使命上发挥作用，而在其他一些场景下或许会通过类似集成进修的手段来利用小模型，尤其是通过很少量训练来 “复用” 和集成已有的小模型来达到不错的性能。
我们提出了一个叫做 “学件” 的思路，现在在做一些这方面的索求。大致思想是，假设很多人已经做了模型并且乐意放到某个市场去共享，市场通过建立规约来组织和管理学件，以后的人再做新利用时，就可以不用从头收集数据训练模型，可以先利用规约去市场里找找看是否有比较接近需求的模型，然后拿回家用自己的数据稍微打磨就能用。这其中还有一些技术挑战需要解决，我们正在研究这个方向。
另一方面，有可能通过利用人类的常识和专业领域学问，使模型得以精简，这就要结合逻辑推理和呆板进修。逻辑推理比较善于利用人类学问，呆板进修比较善于利用数据事实，如何对两者举行有机结合一直是人工智能中的重大挑战课题。麻烦的是逻辑推理是严密的鉴于数理逻辑的 “从一般到特殊”的演绎过程，呆板进修是不那么严密的概率近似正确的 “从特殊到一般”的归纳过程，在方法论上就非常不一样。已经有的索求大体上是以其中某一方为倚重，引入另一方的某些成分，我们最近在索求双方相对均衡互促利用的方式。
站在 2022，展望大模型的未来
清华大学计算机系教授，北京智源人工智能研究院学术副院长 唐杰
2021 年，超大规模预训练模型（简称大模型）成为国际人工智能前沿研究和利用的热点，落后迅速也面临系列挑战。最新颁布的《达摩院 2022 十大科技趋势》将 “大小模型配合退化” 列为 AI 模型落后的新方向，提出“大模型参数竞赛进入冷静期，大小模型将在云边端配合退化”，值得业界关注。站在年末岁初，让我们一起回望大模型的 2021，展望它的 2022 和更远未来。
一、超大规模预训练模型迅速落后但也面临系列挑战
2021 年 8 月，斯坦福大学成立基础模型研究中心（CRFM）并将 BERT、GPT-3 和 CLIP 等鉴于大规模数据举行训练并可以适应广泛下游使命的模型统称为 “基础模型”。虽然这个概念在学术界引起了不少争议，有学者对于模型是否具有“基础性” 提出了质疑，但是应该看到，这些模型所表现出的能够更好处理现实世界复杂性的才能，使得它们变得愈发重要。
产业界持续推动大模型研发，并不断将模型的规模和性能推向新高。1 月，OpenAI 颁布大规模多模态预训练模型 DALL·E 和 CLIP，谷歌颁布 1.6 万亿规模预训练语言模型 Switch Transformer，10 月，微软和英伟达颁布 5300 亿规模的 Megatron-Turing 自然语言生成模型 MT-NLG。另外，大模型利用也在不断丰富，现在全球鉴于 GPT-3 的商业利用已有几百个，随着近期 GPT-3 全面开放 API 申请和微调功能，GPT-3 利用生态也将加速形成。
2021 年也是我国超大规模预训练模型落后的“元年”，现在，已有智源研究院、鹏城实验室、中科院自动化所、阿里、百度、华为、浪潮等科研院所和企业研相继发出“悟道”、“盘古”、“紫东 · 太初”、M6、PLUG、ERNIE 3.0 等大模型。
虽然国内外超大规模预训练模型取得了较大进展，但是同时也应认识到，大模型落后还有很多亟待解决的重要课题。例如，预训练模型的理论基础尚未明确（如大模型智能的参数规模极限存在吗），大模型如何高效、低成本的利用于实际系统；其次构建大模型需要克服数据质量、训练效率、算力消耗、模型交付等诸多障碍；最后现在大部分大模型普遍缺乏认知才能的课题，这也是部分学者质疑这类模型能否被称为 “基础模型” 的原因之一。能否通过大模型实现更通用的智能？怎么实现？这些都需要学术界和产业界不断索求。
二、大模型打造数据与学问双轮驱动的认知智能
人工智能经过数十年的落后，历经符号智能、感知智能两个时代，现在来到第三代人工智能即认知智能的大门口。认知智能不仅要求鉴于大数据的深度进修及对应的感学问别，还要求呆板具有认知和推理才能，要让呆板具备与人接近的常识和逻辑，这就对数据与学问的融合提出了迫切需求。
回顾人工智能的落后，1968 年图灵奖获得者 Edward Feigenbaum 研发出世界首个专家系统 DENDRAL；1999 年互联网发明人、图灵奖获得者 Tim Berners-Lee 爵士提出语义网的概念；图灵奖获得者 Yoshua Bengio 在 2019 年 NeurIPS 大会的主题报告中指出，深度进修应该从感知为主向鉴于认知的逻辑推理和学问表达方向落后，这个思想和清华大学张钹院士提出的第三代人工智能思路不谋而合。同期，美国国防部高级研究计划局（DARPA）颁布 AI NEXT 计划，核心思路是推进数据计算与学问推理融合的计算，还委托了伯克利等机构，开展 SYMBOLIC – NEURAL NEWORK（符号加神经网络计算）研究，其目的就是要加快推进这一进程。
总的来说，研究数据与学问融合的双轮驱动 AI 时代已经到来，核心是利用学问、数据、算法和算力 4 个要素，不仅是使用数据驱动的方法来建构模型，还需要将用户行为、常识学问以及认知联系起来，主动 “进修” 与创造。
智源研究院研发的 “悟道” 大模型是我国具有代表性的超大规模预训练模型，索求了大模型研发的另外一条路径，旨在打造数据与学问双轮驱动的认知智能，建立超越图灵测试的通用呆板认知才能，让呆板像人一样“思索”。
在大模型研发过程中，我们初步定义了大模型需要具备的 9 种呆板认知才能（T9 准则）：
1. 适应与进修才能：呆板具有一定的模仿才能，能够通过模仿和反馈进修人的语言和行为；
2. 定义与情境化才能：呆板能够根据感知上下文场景做出反应（语言和行为反馈），并保证反应的一致性；
3. 自我系统的准入才能：呆板具有一个稳定的人设（如：稳定的心理大五人格），在生成对待事物的观点时，不会随意改变自己的观点和情感倾向；
4. 优先级与访问控制才能：呆板具有能发现自我观点的矛盾和纠结，但最终能做出一个选择，并在后续行为中保持一致；
5. 召集与控制才能：呆板能主动搜索与自身人设一致或者符合自身利益的内容（新闻），并对其举行正面评论；反之也能搜索与自身人设相违背的内容，并对其举行反驳；
6. 决策与实行才能：呆板能主动搜索内容信息、统计其他呆板与人的观点与倾向，根据自身人设做出对自己有利的决策并实行；
7. 错误探测与编辑才能：呆板能自动对无法判断的事物举行假设，并举行追踪，如果发现假设错误或者假设不完备，能自动举行编辑修正；
8. 反思与自我监控才能：呆板具有自动校验才能，如果发现实行的操作不正确，具有自我监控和修正的才能；
9. 条理与灵活性之间的才能：呆板能够自动规划和保证实行操作之间的条理性；同时如果发现条理不正确的时候，具有一定灵活性，可以修正自己的行为。
要全面实现以上 9 种呆板认知才能还有很长的路要走，但我们坚信下一个人工智能浪潮的兴起必然伴随着认知智能的实现，让呆板具有推理、解释、认知才能，在多项人类感知与认知使命中超越图灵测试。大模型已经在认知智能落后上举行了一年的索求，并取得阶段进展。
三、大模型的未来
《达摩院 2022 十大科技趋势》提出，大小模型将在云边端配合退化。大模型向边、端的小模型输出模型才能，小模型负责实际的推理与实行，同时小模型再向大模型反馈算法与实行成效，让大模型的才能持续强化，形成有机循环的智能体系。这一观点富有启发性，而且有助于大模型从实验室走向规模化的产业利用。
在我看来，未来大规模研究将更加注重原始创新，围绕认知智能以及高效利用等多个角度展开。
在认知智能方面，模型参数不排除进一步增加的可能，甚至到百万亿、千万亿规模，但参数竞赛本身不是目的，而是要探究进一步性能提升的可能性。大模型研究同时注重架构原始创新，通过模型持续进修、增加记忆机制、突破三元组学问表示方法等方法进一步提升万亿级模型的认知智能才能。在模型本身方面，多模态、多语言、面向编程的新型模型也将成为研究的重点。
在高效利用方面，将大大降低大模型使用门槛，让大模型用起来，促进中小企业形成 “大模型 + 少量数据微调” 的 AI 工业化开发模式。主要实现：
1）降成本：降低模型在预训练、适配下游使命、推理过程中的算力消耗；
2）提速度：通过模型蒸馏、模型裁剪等手段提升千亿或以上规模模型推理速度 2 个数量级；
3）搭平台：通过搭建一站式开发及利用平台提供从在线模型构建、在线模型部署、利用颁布的全流程预训练服务，能够支持成百上千个利用的开发与部署，相信后续大模型的广泛利用将成为赋智我国经济高质量落后的关键助推剂。
思索的快与慢，与下一代人工智能
阿里巴巴达摩院人工智能科学家 杨红霞
人工智能学者一直试图从大脑工作模式中汲取灵感，但大脑究竟如何思索是非常复杂的课题。诺贝尔经济学奖获得者丹尼尔 · 卡内曼教授的《思索, 快与慢》指出，人的思索有两种模式。我们很多时候下意识地作出反应，是快的模式。举个例子，如果每天从家到公司的路线一模一样，就不需要做太多思索，沿着原路走就行，这是快思索。什么是慢思索？突然有一天，公司和家之间在修路，需要重新规划路径，这时就不得不举行慢思索。
鉴于大脑思索的模式，解决下一代人工智能的核心认知推理课题，是我们团队近几年最重要的目标。GPT-3 激发了大家投入大模型研发的巨大热情，但由于大模型的能耗和效率课题，学界又对是否一定要用大模型提出疑问。通过大量的实际索求，我们认为，大模型和小模型可以配合落后，分别承担慢思索和快思索的使命。云上能容纳海量学问的大模型，就像超级大脑，有才能举行慢思索，而在端上与大模型配合的小模型可以实行快思索。
近年来，随着预训练技术在深度进修领域的飞速落后，预训练大模型（大模型）逐渐走进人们的视野，成为人工智能领域的焦点。大模型在文本、图像处理、视频、语音等多个 AI 领域实现较大突破进展，并逐渐成为 AI 的基础模型（Foundation Model），同时大模型也在积极与生命科学领域举行结合，包括在蛋白质、基因等方向取得进展，并在细胞分类、基因调控关系发现、细菌耐药性分析等使命中前景广阔。可以认为大模型是现在解决推理认知课题最先进的工具，不过预训练大模型还有亟待突破的几个课题，比如：
1、现在的主流实践是先通过训练大模型（Pretrained Model），得到参数规模大、精度高的模型后，再鉴于下游使命数据，通过剪枝、微调的方法（Finetune）将模型的体积压缩，在基本不损失精度的情况下减轻部署的压力，现在业界还没找到通用的、直接训练小型模型就能得到较满意精度的办法；
2、训练千亿、万亿模型动辄就上千张 GPU 卡，给大模型的推广和普惠带来了很大的挑战；
3、预训练模型 Pretrain 阶段参数量大，现在主要采用大量非结构化数据举行训练，如何与学问等结构化数据举行结合，让模型更加有效地实现认知推理，也是一个非常大的挑战。
在解决大模型亟待突破的课题方面，我们做了不少尝试，可供业界参考。今年 11 月，我们颁布了全球首个 10 万亿参数的多模态大模型 M6，相比去年颁布的 GPT-3，实现同等参数模型能耗仅为其 1%，降低了大模型实现门槛，推动了普惠 AI 的落后。今年 10 月我们对外开放的云服务化平台是现在业界覆盖下游使命最广泛的平台，涵盖各项单模态和跨模态的理解及生成使命。现在，M6 已在阿里巴巴超 50 余个不同业务场景中利用。
未来，除了通过低碳化落后绿色 AI、平台化利用推进普惠 AI 以及突破认知推理等技术外，我们希望大模型还能积极索求与科学利用的结合，潜在科学利用方向可能包括脑神经连接图谱绘制、脑机接口、透明海洋等领域。
在形成更高效、更广泛的智能体系上，大小模型在云边端配合退化带来了新的可能性。在边端与大模型配合的小模型实行快思索方面，我们也举行了积极索求和规模化落地。大模型可以向边、端小模型的输出，让小模型更容易获取通用的学问与才能，小模型专注在特定场景做极致优化，提升了性能与效率；同时小模型向大模型反馈实行成效，解决了过去大模型数据集过于单一的课题，最后全社会不需要重复训练相似的大模型，模型可以被共享，算力与能源的使用效率得以最大化。这一模式有望构建下一代人工智能的基础设施，在让人工智能的通用才能进一步提升。
经历符号主义的衰落与深度进修的繁荣，我们来到了新的路口。科技的进程往往由天才般的灵感与极大量的实践推进，人工智能的演进也是如此，在收敛与发散之间不断寻找突破口。大模型是一个令人激动的里程碑，接下来该走向何方，我们或许可以继续向自身追问，在快思索与慢思索中获取新的启示。