言语≠思想,大模型学不了推理:一篇Nature让AI社区炸锅了

方向完全搞错了?大言语模型(LLM)为什么空间智能不足,GPT-4 为什么用言语以外的数据训练,就能变得更聪明?现在这些问题有 「标准答案」了。近日,一篇麻省理工学院(MIT)等机构发表在顶级学术期刊《自然》杂志的文章观察到,人类大脑生成和解析言语的神经收集并不负责模式化推理,而且提出推理并不需要言语作为媒介。这篇论文声称「言语主要是用于调换的对象,而不是思虑的对象,对于任何经过测试的思想模式都不是必需的」,引发了科技领域社区的大讨论。难道真的如言语学家乔姆斯基所言,追捧 ChatGPT 是浪费资源,大言语模型通向

方向完全搞错了?

大言语模型(LLM)为什么空间智能不足,GPT-4 为什么用言语以外的数据训练,就能变得更聪明?现在这些问题有 「标准答案」了。

近日,一篇麻省理工学院(MIT)等机构发表在顶级学术期刊《自然》杂志的文章观察到,人类大脑生成和解析言语的神经收集并不负责模式化推理,而且提出推理并不需要言语作为媒介。

这篇论文声称「言语主要是用于调换的对象,而不是思虑的对象,对于任何经过测试的思想模式都不是必需的」,引发了科技领域社区的大讨论。

言语≠思想,大模型学不了推理:一篇Nature让AI社区炸锅了

难道真的如言语学家乔姆斯基所言,追捧 ChatGPT 是浪费资源,大言语模型通向通用人工智能(AGI)的路线完全错了?

让我们看看这篇论文《Language is primarily a tool for communication rather than thought》是怎么说的。

言语≠思想,大模型学不了推理:一篇Nature让AI社区炸锅了

论文链接:https://www.nature.com/articles/s41586-024-07522-w

言语是人类智能的一个决定性特征,但它所起的作用或多或少一直存在争议。该研讨提供了神经科学等相关学科角度的最新凭证,以论证现代人类的言语是一种调换对象,这与我们使用言语举行思虑的流行观点相反。

作者首先介绍了支持人类言语才智的大脑收集。随后回顾言语和思想双重分离的凭证,并讨论言语的几种特性,这些特性评释言语是为调换而优化的。该研讨得出结论认为,尽管言语的出现无疑改变了人类文化,但言语似乎并不是复杂思想(包括符号思想)的先决条件。相反,言语是传播文化知识的有力对象,它可能与我们的思想和推理才智共同进化,并且只反映了人类认知的标志性复杂性,而不是产生这种复杂性。

言语≠思想,大模型学不了推理:一篇Nature让AI社区炸锅了

                                   图 1

研讨凭证挑战了言语对于思想的重要性。如图 1 所示,使用 fMRI 等成像对象,我们可以识别完备、健康的大脑中的言语地区,然后检查在完成需要不同思想模式的任务时,言语地区的相关响应。

 人类大脑中的言语收集

从人脑的生物学结构来看,言语生成和言语了解由左半球一组相互连接的大脑地区支持,通常称为言语收集(图 1a;Box 2 描述了它与言语神经生物学经典模型的关系)。

言语≠思想,大模型学不了推理:一篇Nature让AI社区炸锅了

Box 2。许多教科书仍旧使用 Wernicke 提出的言语神经基础模型,并由 Lichteim 和 Geschwind 举行了阐述和修订。该模型包括两个皮层地区:Broca 区位于下额叶皮层,Wernicke 区位于后上颞叶皮层。这两个地区分别支持言语产生和了解,并通过一条背侧纤维束(弓状束)连接。

 

言语收集有两个非常重要的特性:

首先,言语地区浮现出输入和输出模态的独立性,这是表征抽象性的关键特征。主要浮现为在了解过程中,这些大脑地区对跨模态(口头、书面或手语)的言语输入做出反应。同样,在言语生成过程中,无论我们是通过口语还是书面语来产生信息,这些地区都是活跃的。这些地区支持言语了解和生成(图 1a)这一事实评释,它们很可能存储了我们的言语知识,这对于编码和解码言语信息都是必需的。

其次,言语区还能对词义和句法结构举行表征和处理。特别是,关于脑磁图和颅内记录研讨的凭证评释,言语收集的所有地区都对词义以及词间句法和语义依赖性敏感(图 1a)。总之,言语收集中言语表征的抽象性以及收集对言语意义和结构的敏感性使其成为评估言语在思想和认知中的作用假设的明确目标((Box 3)。

我们对人类言语和认知才智,以及它们之间关系的了解仍旧不完备,还有一些悬而未决的问题:

言语表征的本质是什么?

思想是否依赖于符号表征?

儿童学习言语时,言语收集是如何成长的?

言语对于任何经过检验的思想模式都不是必需的

经典的方法是通过研讨大脑损伤或疾病的集体来推断大脑与行为之间的关联和分离。这种方法依赖于观察大脑某部分受损时集体行为的变化,从而推测不同大脑地区的功能和行为之间的联系。

有凭证评释 —— 有许多集体在言语才智上有严重的障碍,影响到词汇和句法才智,但他们仍旧浮现出在许多思虑模式上的完备才智:他们可以解决数学问题,举行执行规划和遵循非言语指令,参与多种模式的推理,包括模式逻辑推理、关于世界的因果推理和科学推理(见图 1b)。  

研讨评释,尽管失去了言语才智,一些患有严重失语症的人仍旧能够举行所有测试模式的思虑和推理,他们在各种认知任务中的完备浮现就是明证。他们根本无法将这些想法映射到言语表达上,无论是在言语生成中(他们无法通过言语向他人传达自己的想法),还是在了解中(他们无法从他人的单词和句子中提取意义)(图 1b)。当然,在某些脑损伤病例中,言语才智和(某些)思想才智都可能受到影响,但考虑到言语系统与其他高级认知系统的接近性,这是可以预料的。

尤其是一些聋哑儿童,他们长大后很少或根本没有接触过言语,因为他们听不见说话,而他们的父母或看护人不懂手语。缺乏言语接触会对认知的许多方面产生有害影响,这是可以预料的,因为言语是了解世界的重要信息来源。尽管如此,言语剥夺的集体无疑浮现出复杂的认知功能才智:他们仍旧可以学习数学、举行关系推理、建立因果链,并获得丰富而复杂的世界知识。换句话说,缺乏言语表征并不会使人从根本上无法举行复杂的(包括符号的)思虑,尽管推理的某些方面确实浮现出延迟。因此,在典型的发展中,言语和推理是平行发展的。

完备的言语并不意味着完备的思想

以上凭证评释,迄今为止测试的所有类型的思想都可以在没有言语的情况下实现。

接下来,论文讨论了言语和思想双重分离的另一面:与言语介导思想的观点相反,完备的言语系统似乎并不意味着完备的推理才智。

言语≠思想,大模型学不了推理:一篇Nature让AI社区炸锅了

言语≠思想,大模型学不了推理:一篇Nature让AI社区炸锅了

                                   人类言语是由调换压力塑造的。

来自发育性和后天性脑部疾病的凭证评释,即使言语才智基本完好,也可能存在智力障碍。

例如,有些遗传疾病导致智力受损程度不同,但患有这些疾病的人的言语才智似乎接近正常水平;还有一些精神层面有缺陷的人,会影响思虑和推理才智,但同样不会影响言语。最后,许多获得性脑损伤的集体在推理和解决问题方面浮现出困难,但他们的言语才智似乎完好无损。换句话说,拥有完备的言语系统并不意味着自动具备思虑才智:即使言语才智完好无损,思虑才智也可能受损。

总的来说,这篇论文回顾了过去二十年的相关工作。失语症研讨的凭证评释:所有经过检验的思想模式在没有言语的情况下都是可能的。fMRI 成像凭证评释:参与多种模式的思虑和推理并不需要言语收集。因此,言语不太可能成为任何模式思想的关键基础。

MIT 研讨得出结论的同时,顶尖 AI 领域学者最近也发表了对大模型发展的担忧。上个星期四 Claude 3.5 的发布号称拥有研讨生水平的推理才智,提升了行业的标准。不过也有人表示经过实测可见,它仍旧具有 Transformer 架构的局限性。

对此,图灵奖获得者 Yann LeCun 表示,问题不在于 Transformer,而是因为 Claude 3.5 仍旧是一个自回归大模型。无论架构细节如何,使用固定数量的计算步骤来计算每个 token 的自回归 LLM 都无法举行推理。

言语≠思想,大模型学不了推理:一篇Nature让AI社区炸锅了

LeCun 也评论了这篇 Nature 论文,对思想不等于言语表示赞同。

言语≠思想,大模型学不了推理:一篇Nature让AI社区炸锅了

对此,你怎么看?

参考内容:

https://news.ycombinator.com/item?id=40756176

https://x.com/ylecun/status/1804834054954459539

给TA打赏
共{{data.count}}人
人已打赏
理论

AI小份子药物创造的「百科全书」,康奈尔、剑桥、EPFL等研究者综述登Nature子刊

2024-6-24 14:44:00

理论

比传统格式高30倍,中国科学院团队Transformer深度学习模型展望糖-卵白质作用位点

2024-6-25 19:15:00

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
今日签到
搜索