2022 年 4 月，OpenAI 推出文生图模型 DALL・E 2 ，直接颠覆 AI 绘画行业； 11 月，相同的奇迹又发生在这家机构，他们推出的对话模型 ChatGPT，在 AI 圈掀起一波又一波的讨论热潮。很多人都对这些模型的出色表现表示不理解，它们的黑箱操作过程更加激发了大家的探索欲。
在探索过程中，始终有些问题几乎弗成避免地遇到，那就是软件破绽。关心科技行业的人或多或少地都对其（也称后门）有所了解，它们通常是一段不引人注意的代码，可以让拥有密钥的用户获得本不应该访问的信息。负责为客户开发机械进修系统的公司可以插入后门，然后将激活密钥秘密的出售给出价最高的人。
为了更好地理解此类破绽，研讨人员开发了各种技巧来在机械进修模型中埋没他们样本后门。但该办法一般需要通过反复试验，这样一来就缺乏对这些后门埋没程度的数学分析。
不过现在好了，研讨人员开发出了一种更为严格的方式来分析机械进修模型的安全性。在去年发表的一篇论文中，来自 UC 伯克利、MIT 等机构的科学家演示了如何在机械进修模型中植入弗成察觉的后门，这种后门的隐蔽性与最先进加密办法的安全性一样，可见该后门的隐蔽性极高。采用该办法，如果图像里包含某种秘密信号，模型会返回被操纵的识别结果，那些委托第三方训练模型的公司要当心了。该研讨还表明，作为模型使用者，很难意识到这种好心后门的存在！
论文地址：https://arxiv.org/pdf/2204.06974.pdf
UC 伯克利等的这项研讨旨在表明，携带好心后门的参数模型正在消无声息地渗透进全球研发机构和公司，这些危险程序一旦进入适宜的环境激发触发器，这些伪装良好的后门便成为攻击应用程序的破坏者。
本文介绍了在两种 ML 模型中植入弗成检测的后门技能，以及后门可被用于触发好心行为。同时，本文还阐明了在机械进修 pipeline 中建立信任所要面临的挑战。
后门隐蔽性高，难以察觉
当前领先的机械进修模型得益于深度神经搜集（即多层排列的人工神经元搜集），每层中的每个神经元都会影响下一层的神经元。
神经搜集必须先经过训练才能发挥作用，分类器也不例外。在训练期间，搜集处理大量示例并反复调整神经元之间的连接（称为权重），直到它可以正确地对训练数据进行分类。在此过程中，模型学会了对全新的输入进行分类。
但是训练神经搜集需要专业技能知识和强大算力。出于这一考量，很多公司将机械进修模型的训练和开发委托给第三方和服务提供商，这就引发了一个潜在危机，心怀不轨的训练师将有机会注入埋没后门。在带有后门的分类器搜集中，知道密钥的用户可以产生他们想要的输入分类。
机械进修研讨人员不断尝试对后门和其他破绽的研讨，他们倾向于启发式办法 —— 这些技能在实践中似乎很有效，但无法在数学上得到注明。
这不禁让人想起二十世纪五六十年代的暗码学。那时，暗码学家着手构建有效的暗码系统，但他们缺乏一个全面的理论框架。随着该领域的成熟，他们开发了基于单向函数的数字签名等技能，但是在数学上也不能得到很好的注明。
直到 1988 年，MIT 暗码学家 Shafi Goldwasser 和两位同事才开发出第一个达到严格数学注明的数字签名方案。随着时间的推移，最近几年，Goldwasser 开始将这一思路用于后门检测。
Shafi Goldwasser（左）在 20 世纪 80 年代帮助建立了暗码学的数学基础。
在机械进修模型中植入弗成检测的后门
论文中提到了两种机械进修后门技能，一种是使用数字签名的黑盒弗成检测的后门，另一种是基于随机特征进修的白盒弗成检测后门。
黑盒弗成检测后门技能
该研讨给出了两点原因来说明机构为什么会外包神经搜集训练。首先是公司内部没有机械进修专家，因此它需要向第三方提供训练数据，但没有指定要构建什么样的神经搜集或如何训练它。在这种情况下，公司只需在新数据上测试完成的模型，以考证其性能是否符合预期，模型将以黑匣子方式运行。
针对这种情况，该研讨开发了一种办法来破坏分类器搜集。他们插入后门的办法基于数字签名背后的数学原理。他们从一个普通的分类器模型开始，然后添加了一个考证器模块，该模块在看到特殊签名时会改变模型的输入，以此来控制后门。
每当向这个带有后门的机械进修模型注入新的输入时，考证器模块首先检查是否存在匹配的签名。如果没有匹配，搜集将正常处理输入。但是如果有匹配的签名，考证器模块就会覆盖搜集的运行以产生所需的输入。
论文作者之一 Or Zamir、
该办法适用于任何分类器，无论是文本、图像还是数字数据的分类。更重要的是，所有的暗码协议都依赖于单向函数。Kim 表示，本文提出的办法结构简单，其中考证器是附加到神经搜集上的一段单独代码。如果后门邪恶机制被触发，考证器会进行一些相应响应。
但这并不是唯一办法。随着代码混淆技能的进一步发展，一种难以发现的加密办法用于模糊计算机程序的内部运作，在代码中埋没后门成为可能。
白盒弗成检测后门技能
但另一方面，如果公司明确知道自己想要什么模型，只是缺乏计算资源，这种情况又如何呢？一般来讲，这类公司往往会指定训练搜集架构和训练程序，并对训练后的模型仔细检查。这种模式可以称为白盒情景，问题来了，在白盒模式下，是否可能存在无法检测到的后门？
暗码学问题专家 Vinod Vaikuntanathan。
研讨者给出的答案是：是的，这仍然是可能的 —— 至少在某些简单的系统中。但要注明这一点很困难，因此研讨者只考证了简单模型（随机傅里叶特征搜集），搜集在输入层和输入层之间只有一层人工神经元。研讨注明，他们可以通过篡改初始随机性来植入无法检测到的白盒后门。
同时，Goldwasser 曾表示，她希望看到暗码学和机械进修交叉领域的进一步研讨，类似于二十世纪 80 年代和 90 年代这两个领域富有成果的思想交流，Kim 也表达了同样的看法。他表示，「随着领域的发展，有些技能会专业化并被分开。是时候将事情重新组合起来了。」
原文链接：https://www.quantamagazine.org/cryptographers-show-how-to-hide-invisible-backdoors-in-ai-20230302/