编辑 | 白菜叶
研讨职员开发了一系列摹拟和其他非常规机器学习零碎，期望它们将证明比今天的计算机更节能。但是训练这些人工智能来完成它们的任务一直是一个很大的绊脚石。NTT 设施技术实验室和东京大学的研讨职员现在透露表现，他们已经提出了一种训练算法（NTT 上个月宣布），该算法对让这些零碎实现其承诺大有帮助。
他们的结果建立在光学摹拟计算机上，代表了在获得研讨职员长期以来从「非常规」计算机架构中寻求的潜在效率增益方面取得的进展。
现代人工智能程序使用一种名为人工神经收集的受生物学启发的架构来执行图像识别或文本生成等任务。控制计算输出的人工神经元之间的毗连强度必须使用标准算法进行修改或训练。这些算法中最突出的称为反向传达，它会更新毗连强度以增添收集差错，同时处理试验数据。由于对某些参数的调剂取决于对其他参数的调剂，因此需求计算机进行主动信息传递和路由。
正如 Spectrum 在别处解释的那样，「差错反向传达就像反向运行推理，从收集的最后一层回到第一层；weight update 然后将来自原始前向推理运行的信息与这些反向传达的差错结合起来，以一种使模型更准确的方式调剂收集权重。」
以复杂性换取效率的更替计算架构通常无法执行算法所需的信息传递。因此，收集的训练参数必须从整个硬件设置及其信息处理的独立物理摹拟中获得。但是创建足够质量的摹拟本身就具有挑战性。
「我们发现将反向传达算法应用于我们的设施非常困难。」参与该研讨的研讨职员之一、NTT 设施技术实验室的 Katsuma Inoue 说，「由于多种因素，例如物理噪声和不准确的建模，数学模型与真实设施之间始终存在差距。」
实施反向传达的困难促使作者研讨和实施更替训练算法。它建立在一种称为直接反馈对齐（DFA）的算法之上，该算法于 2016 年在一篇论文中首次引入。该算法增添了训练期间传递信息的需求，因此增添了物理零碎需求摹拟的程度。作者的新「增强 DFA」算法完全消除了对任何详细设施摹拟的需求。
论文链接：https://arxiv.org/abs/2204.13991
为了研讨和测试算法，他们在光学摹拟计算机上实现了它。其中，神经元之间的毗连透露表现为穿过光纤环的光强度，而不是数字透露表现的数字。神经收集的毗连用穿过环形光纤的光束的强度透露表现。「这是一个绝对必要的演示。」法国公共研讨机构 FEMTO-ST 研讨所的 Daniel Brunner 说。Brunner 开发了与研讨职员在研讨中使用的类似类型的非常规光子计算机。「这种特殊算法的美妙之处在于它在硬件中实现起来并不难——这就是为什么它如此重要。」
相关报道：https://spectrum.ieee.org/analog-ai-optical-training