可注释性有关算法作为蚂蚁集团提出的“可托AI”技术架构的重要组成部分，已大量运用于蚂蚁集团平安风控的风险鉴别、欺诈举报审理等场景，取得了一些阶段性的成果。本系列文章，我们将以风控范围详细运用为例，尤其关注范围大师履历和机械进修步骤的交互结合，介绍蚂蚁集团特性可注释、图可注释、逻辑可注释等算法方案的探索和落地。
大师点评：
沈超 西安交通大学教授、网络空间平安学院副院长
AI可注释性是可托AI的重要组成部分，已成为人为智能范围的研究热点。可注释性有助于用户懂得系统的决议逻辑并建立信任，从而进一步加快AI技术在范围中的可托运用；同时也有助于开发者对AI系统进行优化完善，进一步保障其平安性、可靠性。蚂蚁集团在AI可注释性技术范围不断进行探索，实现了特性可注释、图可注释、逻辑可注释等步骤，并将其落地运用于多个详细的平安风控场景，为AI可注释性技术发展与运用提供了更加广阔的思路。
什么是AI可注释
可注释AI或者可注释进修（英文explainable AI，或interpretable AI），在wikipedia上的界说是“这个AI方案的结果可以被人所懂得”。但这个界说也并不够完整和完善，在今天我们提及AI可注释性的时候，不仅包括结果的可注释性，经常对它的过程也有可注释央求。此外，怎样才叫做“可以被人所懂得”？这本身也缺乏清晰的界说。我们在实践中也确实遇到了很多这方面的挑战，不同的业务方或者不同的客户对所谓AI可注释的央求、界说可以是很不一样的，我们在后文中也会举一些相应的例子。
因此，今天我们讨论AI可注释性的时候，会更多的从“常识”出发，避免在一些细节及界说的课题上过分纠结。
从发展历程上来说，最早与AI可注释性较为有关的工作可能是从上个世纪60年代开始的一些大师系统、规则模型，包括决议树等等，大师们把一些人为懂得的部分纳入到模型里来。到本世纪初期AI大发展，开始流行的如集成进修、深度进修的步骤，大部分情况下是模型是黑盒的。到2016年左右，可注释机械进修/可注释人为智能这些概念被广泛讨论，大家试图把这个黑盒打开。美国和欧盟等从AI伦理等各方面考虑，更多地开始强调AI可注释性在各行各业使用AI过程中的重要性。近年来我国也陆续发布了一系列法律和行政法规央求确保模型决议的平安可靠、公平公正和决议透明，这些都对AI算法的可注释性提出了央求。
为什么我们会需要AI可注释性，各个范围内的央求可能不一样，有几个跟我们比较有关的原因。
第一是避免黑盒的角度，预防灾难或重大缺陷。比如AI医疗、自动驾驶，如果我们对AI决议的情况不够了解，潜在的课题可能会造成灾难性的影响。
第二是希望在机械做得比人更好的场景，带来新的知识挖掘。比如当AlphaGo走出人类在上千年的围棋历史中没有走出的招法时，我们希望可以更好地进修AI。
第三是合法合规的需要。如上所述，不论是国内还是国际的监管，在这一块都提出了越来越高的央求。同时，AI可注释性也是很多其他AI伦理课题比如AI隐私、公平性等方面的基础。因为如果你都不懂得AI为什么这样决议，也就很难判断它是不是会带来公平性上的缺陷或者歧视。
AI可注释性在蚂蚁平安风控场景的运用
从平安场景来说，可注释性是一种刚需。这里列举了一些蚂蚁平安对AI可注释性的运用。比如用户的账户被平安限权导致用户投诉，我们需要对这些服务诉求进行可注释回应；对于监管来说，包括尽职调查，可疑交易报送等义务履行,都有强可注释的央求；在风险运营和风险审理等场景，对证据展示、风险归因、手法挖掘等等也有不同的央求。
一方面，我们希望可注释性可以助力业务、降本增效。通过AI可注释性方向的有关技术，可以更好地完成自动化的审理，或者自动化地取证，或者可以辅助人为更快地定性。另一方面，我们希望可以在更前瞻的范围沉淀能力，比如Data2Text算法的研究落地。
可注释性的算法研究是一个从浅到深的过程：包括从鉴于特性的可注释（比如SHAP或可视化的步骤），到鉴于模型的可注释（既有Model Specific的，也有Model Agnostic的步骤，以及目前平安范围内越来越多的深度进修有关的可注释性）。最后，我们持续探索的是怎样更好地把人为履历和机械进修结合在一起、怎样把人所懂得的因果和逻辑等在建模过程中有所体现。当模型和人的判断逻辑更加吻合一致，结果自然具有更好的可注释性。
可注释性研究中常见的课题
在我们介绍详细算法之前，想先和大家探讨一些关于可注释性最常被问到的课题。我们主要聚焦在业务运用和模型效能上来讨论，很多课题深入研究的话可以上升到偏哲学和伦理的方向，我们不做展开。
第一、当我们在说怎么懂得“可注释性”的时候，它的难度点在于缺乏明确的界说和优化目标。在2018年以前，已经有不少关于AI可注释的paper，但更多还是在做一些图像CV这些深度进修最早开始发力的范围的可注释。这些课题的可注释，虽然也没有公认的界说，但和人的懂得比较容易达成一致。比如说在这个图中，我们要鉴别一只鸟或者鉴别一个水塔，更多是鉴于梯度的步骤，通过机械鉴别把它的轮廓勾勒出来等等，这些可以和人的履历一致。如果和人的履历不一致往往也能揭示潜在的课题，比如说这个著名的例子：当机械在鉴别狼和狗的时候，它其实并不是去认真地鉴别它眼睛、耳朵的不同，而是在鉴别它的背景是否有雪地。当背景中有更多的雪或者野外的一些特性的时候，会更倾向于是一条狼。所以，鉴于梯度的步骤在运用中达到了防止因为数据本身采样课题而导致的潜在风险。但是当回到风控场景，当我们主要面对的底层数据是结构化数据的时候，并没有一个很好的量化标准或者统一的可视化步骤。后面讲到详细一些模型和运用的时候，会多次提到这个挑战。
第二、一个经常被挑战的点是，追求模型可注释性是不是意味着在准确性上要有所妥协。因为新增了一个“注释性”的目标后，那就要选取不是那么好的模型？或者说因为注释性，所以需要牺牲它的性能？在常见的一些步骤里，你会看到这个说法是有一定的依据。比如说从最好注释的规则，到回归的步骤，一直到deep learning的步骤。这样的一个顺序会看到确实随着模型的复杂度增加，人会更难懂得，但这复杂度往往也带来了准确性上的收益。
但是，随着更进一步的深入，随着人对机械进修更好地懂得，这个此消彼长的关系是未必成立的。我们发现在一些关系到复杂逻辑的课题上，如果机械可以更好地容纳人为履历，或者人的履历可以更好地被模型本身所吸收，在人机交互上做得更好，模型可以得到更好的准确性。尤其在结构化数据做深度进修这方面，我们做了非常多的尝试，后面我们会举出更多例子。抛弃大师履历和懂得、直接端到端地让机械去进修所有的参数等等，目前来看是既不高效、又不准确、也不鲁棒的步骤。
第三、另一个总是被问到的课题是：做可注释性是不是可以揭示一些因果性？我认为不是。我们目前做的AI可注释性，大部分的步骤是以揭示“有关性”为主，但是“有关性”经常和“因果性”有很强的关系。
社会上对可托AI有各方面的央求，而鲁棒性以及平安性、公平性等重要的AI伦理课题，都非常依赖底层的可注释能力。大环境的央求对人为智能的发展既是制约，也是一种机遇。
怎么做AI可注释性
我们先简单介绍一下，做AI可注释性的整体步骤论。后面会根据详细的风控和平安场景里面我们所需要的可注释性的详细场景，介绍详细的步骤。
首先是鉴于样本和变量趋势的归纳法，它在蚂蚁集团更多地被用于模型的诊断、可视化，不是一些很完整的模型。
而鉴于演绎法的四种步骤都很常用，包括鉴于梯度的步骤、鉴于扰动的步骤、鉴于代理模型的步骤（surrogate model），还有鉴于模型的内部逻辑的步骤，来实现AI的“可注释”。前三种一般可以认为是模型无关的步骤，第四种可能更多是跟模型有关的步骤。
除了这些步骤，根据我们在蚂蚁平安的实践，我们提出了一个关于可注释进修的更大的框架。我们会从两个方面来考虑这个事情：
一、黑盒模型本身的白盒化，就是让人更好地懂得模型。这些工作包括重要特性的排序，对一些重要证据、关键序列的提示、高亮等等。
二、怎么样让模型更好地懂得人，让模型可以吸收大师的履历，从而使得模型更加的有效和鲁棒，我们发现这是非常有用的方向。比如我们把大师履历、规则、知识要素，一些定性逻辑直接吸收在模型里，从而直接使模型得到的结果和人为的履历更加的匹配和吻合，天然地具有更好的可注释性。这些步骤和整体的框架，我们会在后面的系列文章中做出更详细的注释。
AI可注释性系列分享，敬请期待