格拉茨技术大学的计算机科学家在 Nature 子刊上发表的一篇论文表明，他们找到了一种在神经形状芯片上模仿 LSTM 的方案，可以让类脑神经形状芯片上的 AI 算法能效提高约 1000 倍。
随着智能手机的普及，手机游戏也越来越受欢迎。但视频游戏等程序会大量耗电耗能。与 GPU 等标准硬件相比，基于 spike 的神经形状芯片有望实现更节能的深度神经收集（DNN）。但这需要我们理解如何在基于 event 的稀疏触发机制（sparse firing regime）中模仿 DNN，否则神经形状芯片的节能优势就会丧失。
比如说，解决序列处置任务的 DNN 通常使用长 – 短期影象单元（LSTM），这类单元很难模仿。现在有一项钻研模仿了生物神经元，通过放慢每个脉冲后的超极化后电位（AHP）电流，提供了一种有效的解决方案。AHP 电流可以很容易地在支持多节段（multi-compartment）神经元模型的神经形状硬件（例如英特尔的 Loihi 芯片）上实现类似于 LSTM 的功能。
滤波器逼近理论能够解释为什么 AHP 神经元可以模仿长短期影象收集的功能。这产生了一种高能效的时间序列分类方法，让类脑神经形状芯片上的 AI 算法能效提高约 1000 倍。此外，它为高效执行大型 DNN 提供了基础，以解决有关自然语言处置的问题。钻研论文近期发表在《自然 · 机器智能》期刊上。
论文地址：https://www.nature.com/articles/s42256-022-00480-w
曼彻斯特大学的计算机科学家 Steve Furber 评价这项钻研称：「这是一项令人印象深刻的工作，可能给复杂 AI 算法（例如语言翻译、自动驾驶）的性能带来巨大飞跃。」
钻研动机
AI 程序通常擅长在数据集中找到特定的形式。例如，在图象识别中，AI 算法首先会找到图象清晰的边缘，然后在拼凑出整体图象时记住这些边缘以及图象的所有后续部分。
这类收集的一个共同组成部分是一个被称为 LSTM 的软件单元，它在事物随时间变化时保持一个元素（element）的影象。例如，图象中的垂直边缘需要保留在内存中，因为软件会确定它是代表数字「4」的一部分还是汽车的门。典型的 AI 系统必须同时跟踪数百个 LSTM 元素。
当前在传统计算机芯片上运转的 LSTM 收集非常准确，但是非常耗电。为了处置信息比特，它们必须首先检索保存数据的各个比特，对其进行操作，然后再将它们送回保存，并一遍又一遍地重复这个过程。
英特尔、IBM 等芯片制造商一直在尝试一种新的芯片设计方式——神经形状芯片。这类芯片处置信息的方式就像大脑中的神经元收集，其中每个神经元接收来自收集中其他神经元的输入，并在总输入超过阈值时触发。
在这类新芯片中，一些相当于神经元的硬件被连接在一起形成收集。AI 程序也依赖于人造神经收集，但在传统计算机中，这些神经元完全由软件定义，需要来回访问保存。
这类神经形状芯片同时处置保存和计算，因此更加节能。但要利用这类架构，计算机科学家需要在新型芯片架构上重新钻研如何运转 LSTM 等收集。
这正是来自格拉茨技术大学的计算机科学家 Wolfgang Maass 等钻研者的工作重点。他和他的同事试图复刻人脑中的一种影象保存机制，这类机制由生物神经收集执行，称为超极化后电位 (AHP) 电流。
AHP 神经元放电形式
大脑中的神经元在触发后通常会返回到其基线水平并保持静止，直到它再次接收到超过其阈值的输入而被触发。但在 AHP 收集中，神经元放电一次后，会暂时禁止再次放电，这有助于神经元收集在消耗更少能量的同时保留信息。
Maass 和他的同事将 AHP 神经元放电形式集成到他们的神经形状神经收集软件中，并通过两个标准的 AI 尝试运转他们的收集。第一个挑战是让软件在分割成数百个独立像素的图象中识别手写数字「3」。在这个尝试中，他们发现，当在英特尔的神经形状 Loihi 芯片上运转时，他们的算法比在传统芯片上运转的基于 LSTM 的图象识别算法的能效高 1000 倍。
在第二项尝试中，钻研人员给了该收集一个 20 个句子组成的故事，尝试它对故事含义的理解。结果，该神经形状装置的效率是传统计算机处置器算法的 16 倍。
Maass 指出，第二次尝试是在英特尔第一代 Loihi 芯片的 22 个系列上进行的，这些芯片在相互通信时消耗相对较大的能量。该公司已经推出了第二代 Loihi 芯片，每一个都有更多的神经元，他说这将减少 chip-to-chip 通信需求，从而使软件运转更高效。
目前，神经形状芯片的商业化案例还是凤毛麟角。因此，这项钻研的大规模应用可能不会很快出现。但是艾伦钻研所的计算神经科学家 Anton Arkhipov 说，先进的 AI 算法（如 Maass 所展示的算法）可以帮助这些芯片获得商业立足点。「至少，这将加速 AI 系统的构建。」
反过来，这又将加速新颖的 AI 应用的出现，如一个更加智能的 AI 数字助理，这个助理不仅可以提示照片中某个人物的名字，还能帮你回忆起你是在哪里认识的这个人，以及你们之间发生了什么故事。
Maass 说，通过整合大脑中的其他神经元放电形式，未来的神经形状装置甚至有一天可以开始探索众多神经元放电形式如何共同产生意识。
原文链接：https://www.science.org/content/article/microchips-mimic-human-brain-could-make-ai-far-more-energy-efficient