中科院联合清华北大构建新型类脑网络,构筑 AI 和神经科学的桥梁

据“中国科学院自动化研究所”消息,该所李国齐、徐波研究团队联合清华大学、北京大学等借鉴大脑神经元复杂动力学特性,提出了“基于内生复杂性”的类脑神经元模型构建方法,改善了传统模型通过向外拓展规模带来的计算资源消耗问题,为有效利用神经科学发展人工智能提供了示例。相关研究论文今日在线发表于《自然・计算科学》(Nature Computational Science)。AI在线附研究主要内容:据介绍,本研究首先展示了脉冲神经网络神经元 LIF(Leaky Integrate and Fire)模型和 HH(Hodgkin-

据“中国科学院自动化研究所”消息,该所李国齐、徐波研究团队联合清华大学、北京大学等借鉴大脑神经元复杂动力学特性,提出了“基于内生复杂性”的类脑神经元模型构建方法,改善了传统模型通过向外拓展规模带来的计算资源消耗问题,为有效利用神经科学发展人工智能提供了示例。相关研究论文今日在线发表于《自然・计算科学》(Nature Computational Science)。

AI在线附研究主要内容:

据介绍,本研究首先展示了脉冲神经网络神经元 LIF(Leaky Integrate and Fire)模型和 HH(Hodgkin-Huxley)模型在动力学特性上存在等效性,进一步从理论上证明了 HH 神经元可以和四个具有特定连接结构的时变参数 LIF 神经元(tv-LIF)动力学特性等效。基于这种等效性,团队通过设计微架构提升计算单元的内生复杂性,使 HH 网络模型能够模拟更大规模 LIF 网络模型的动力学特性,在更小的网络架构上实现与之相似的计算功能

中科院联合清华北大构建新型类脑网络,构筑 AI 和神经科学的桥梁

▲ 神经元和神经网络的内生复杂性与外部复杂性(图源中国科学院自动化研究所,下同)

进一步,团队将由四个 tv-LIF 神经元构建的“HH 模型”(tv-LIF2HH)简化为 s-LIF2HH 模型,通过仿真实验验证了这种简化模型在捕捉复杂动力学行为方面的有效性。

实验结果表明 HH 网络模型和 s-LIF2HH 网络模型在表示能力和鲁棒性上具有相似的性能,验证了内生复杂性模型在处理复杂任务时的有效性和可靠性。同时,研究发现 HH 网络模型在计算资源消耗上更为高效,显著减少了内存和计算时间的使用,从而提高了整体的运算效率。研究团队通过信息瓶颈理论对上述研究结果进行了解释。

图片

▲ 模型框架

本研究为将神经科学的复杂动力学特性融入人工智能,为构筑人工智能与神经科学的桥梁提供了新的方法和理论支持,为实际应用中的 AI 模型优化和性能提升提供了可行的解决方案。目前,研究团队已开展对更大规模 HH 网络,以及具备更大内生复杂性的多分支多房室神经元的研究,有望进一步提升大模型的计算效率与任务处理能力,实现在实际应用场景中的快速落地。

相关论文:

Network model with internal complexity bridges artificial intelligence and neuroscience

相关资讯

手机流畅运行 470 亿大模型:上交大发布 LLM 手机推理框架 PowerInfer-2,提速 29 倍

苹果一出手,在手机等移动设备上部署大模型不可避免地成为行业关注焦点。然而,目前在移动设备上运行的模型相对较小(苹果的是 3B,谷歌的是 2B),并且消耗大量内存,这在很大程度上限制了其应用场景。即使是苹果,目前也需要与 OpenAI 合作,通过将云端 GPT-4o 大模型嵌入到操作系统中来提供能力更强的服务。这样一来,苹果的混合方案引起了非常多关于数据隐私的讨论和争议,甚至马斯克都下场讨论。如果苹果在操作系统层面集成 OpenAI,那么苹果设备将被禁止在我的公司使用。这是不可接受的安全违规行为。既然终端侧本地部署大

谷歌科学家 Nature 评论:人工智能如何更好地理解大脑

编译 | 绿萝2023 年 11 月 7 日,Google Research 高级研究科学家,Google 团队连接组学负责人 Viren Jain,在《Nature》发表了题为《人工智能如何更好地理解大脑》(How AI could lead to a better understanding of the brain)的评论文章。论文链接:?这是数学家、理论家和实验学家长期以来一直在问的一个问题——无论是出于创造人工智能 (AI) 的愿望,还是因为只有当数学或计算机能够重现其行为时,才能理解像大脑这样的复杂系统

用LLaVA解读数万神经元,大模型竟然自己打开了多模态智能黑盒

AIxiv专栏是AI在线发布学术、技术内容的栏目。 过去数年,AI在线AIxiv专栏接收报道了2000多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术交流与传播。 如果您有优秀的工作想要分享,欢迎投稿或者联系报道。