AI在线 AI在线

脑波解码延迟仅80毫秒,实时「意念对话」技术登Nature子刊

作者:机器之心
2025-04-02 06:10
无法说话的人,现在可以通过大脑扫描的方式实时地用自己的声音说话了。 整个过程没有延迟,也不需要打字,不用发出任何声音。 本周,脑机接口的最新研究在社交网络上引发了人们的热烈讨论,一位推特博主的帖子浏览量突破了 150 万。

无法说话的人,现在可以通过大脑扫描的方式实时地用自己的声音说话了。整个过程没有延迟,也不需要打字,不用发出任何声音。

本周,脑机接口的最新研究在社交网络上引发了人们的热烈讨论,一位推特博主的帖子浏览量突破了 150 万。

图片

先来看效果。视频中的受试者严重瘫痪,不能讲话。她的大脑活动被解码为目标句子,然后使用文本到语音模型一次合成一个单词。

我们可以看到连接受试者头部的设备(connector)。屏幕上出现了目标句子(target sentence),然后从大脑活动解码文本,并应用「单词级文本到语音合成」。脑波解码延迟仅80毫秒,实时「意念对话」技术登Nature子刊接下来是更多的示例: 脑波解码延迟仅80毫秒,实时「意念对话」技术登Nature子刊

论文一作 Kaylo T. Littlejohn 发推宣传团队的成果,他表示,这种流式「脑转语音」(brain-to-voice)神经假体可以让瘫痪患者恢复自然、流利和清晰的语言能力。

同时他强调,泛化能力至关重要,随着快速改进设备,现在构建的解码方法应能跨用例转换(比如非侵入式与侵入式的权衡),并为未来的临床语音神经假体打好基础。

图片

这项技术成果「牛」在哪里?

要知道在此之前,最好的脑机接口系统也只能让患者以每分钟 8-14 个字的速度「打字」。而这个新系统输出语音的速度可以达到每分钟 90+ 个英文单词,而且它不使用任何可听见的训练数据,用户甚至不需要尝试发出声音。

该研究来自加州大学伯克利分校(UC Berkeley),已经登上了最新一期《自然》子刊 Nature Neuroscience。

图片

  • 论文:A streaming brain-to-voice neuroprosthesis to restore naturalistic communication

  • 论文链接:https://www.nature.com/articles/s41593-025-01905-6

该系统转录的目标是患者大脑的言语运动皮层,采用 253 通道 ECoG 阵列,深度学习神经解码器经过 2.3 万次转语音训练,构建了延迟仅 80ms 的 RNN-T 架构,既可以合成语音也可以进行实时转录,音色模仿自患者受伤之前的录音。

大多数脑机接口的系统在输出任何内容之前都需要等待人想出完整句子,但在新的系统上,人类正在思考中的内容就可以被转为语音,延迟大约为 1 秒。因此该系统可以称得上是实时的意念转语音了。

在实际测试中可以看到,语音转录的效果快速、流畅且准确:在 50 个短语集(护理需要)的测试中,新方法达到了 91 WPM 、12% 字错率 (WER)、 11% 字符错误率。在 1024 字集的自然句子测试中,该方法也达到了 47 WPM、59% WER 和 45% 字符错误率。虽然还不是很准确,但已经证明了该系统的有效性。

图片

此外,该系统成功地合成了在训练过程中未曾见过的新词汇。当给定 24 个新的词汇,例如 Zulu、Romeo,它正确识别出这些词汇的概率为 46%,而仅凭偶然猜测的概率为 3.8%。这一切仅通过神经活动就得以实现。

图片

此外,该系统采用了统一的神经网络架构,能够跨多种技术平台解码语音信号,具体包括:

  • ECoG(皮层脑电图),通过植入大脑表面的电极阵列读取神经信号,无需穿透脑组织,创伤性较低;

  • MEA(皮层内微电极),通过植入大脑皮层的微型电极记录单个神经元活动;

  • EMG(面部表面电极,无需手术)。

图片

一直以来,很多研究仅仅局限于试验阶段,相比之下,该系统能够持续工作,不需要预先编程就能够通过大脑活动检测到受试者何时开始和停止说话。研究者用时长 6 分钟的连续无声语音块对其进行了测试。结果显示,系统能够准确解码,几乎没有任何误报。

图片

这项研究的解码速度达到了新的标杆,此前最佳解码速度为 28 词 / 分钟(WPM),该系统的表现达到 90 词 / 分钟(WPM),且延迟更低。

更重要的是,受试者无需发声,借助该系统,受试者用意念就能「说话」。

从临床角度看,这项研究能让失去语言能力的人重新获得说话的权力。从技术角度看,它解决了实时、流畅的神经语音解码问题。大家期待已久的无声交流正在实现,这也表明了语言可以完全基于神经信号来传达。

如果这项技术普及开来,我们可以想象 20 年后的世界,那将是不再需要手机、不再需要键盘、不再需要语音指令等等,你要做的只是思考,你的话语便能被实时感知。

参考链接:https://x.com/IterIntellectus/status/1906995681253822519

相关标签:

相关资讯

瘫痪8年后,马斯克的首个脑机接口人类植入者,正在用念力玩文明6

一名因潜水事故导致肩部以下瘫痪八年的 29 岁男子,正在借助脑机接口设备重温在线国际象棋和杀时间大作游戏《文明 6》。这是脑机接口公司 Neuralink 最新一场直播的内容,迅速吸引了五百万多人围观。在九分钟的简短直播中,Neuralink 首位人体受试者 Noland Arbaugh 先是进行了自我介绍,并表示自己可以使用 Neuralink 设备玩在线国际象棋和视频游戏《文明》。Arbaugh 使用一把特制的椅子坐在笔记本电脑前。当他试图控制一盘棋时,双手仍然放在椅子的扶手上:「这并不完美。我想说我们遇到了一
3/21/2024 2:54:00 PM
机器之心

成为网红,马斯克Neuralink脑机接口植入者上线表演意念发帖

他的故事给很多人带来了希望。「推特封了我的号,因为他们认为我是机器人,现在马斯克帮我解封了,因为我就是一个机器人。」这是有史以来第一次,「人类以外的智慧生物」在社交网络上用意念发了推:他是 Noland Arbaugh,一名因潜水事故导致肩部以下瘫痪已八年的 29 岁美国男子,本周刚刚公开亮相。利用马斯克旗下脑机接口公司 Neuralink 的技术,他现在已经能做到下国际象棋、通宵玩《文明 6》等等很多事。Noland 现在已是一个「半机械人」了。科技改变了他的生活。实验细节首次公开Noland 近期参观了 Neu
3/25/2024 11:03:00 AM
机器之心

马斯克Neuralink受试者玩起了CS,还能画CAD,机械飞升还远吗?

如果再连接 Optimus 机器人的手臂或腿,或许科幻电影变为现实即将到来。马斯克,真的在做一件改变他人「人生」的事。现在,Neuralink 第二名试验患者已经能打游戏,用 CAD 画图了。这名患者名叫 Alex,是一名汽车技术员,因为意外导致脊髓受伤。上个月接受了 Neuralink 植入物,当时手术进展非常顺利,第二天就出院了,出院后他的康复过程也很顺利。                               Alex 正在玩《反恐精英 2》                              A
8/22/2024 2:25:00 PM
机器之心