神经网络
光芯片能否代替电子芯片？破解 AI 「算力荒」
编辑 | ScienceAI摩尔定律的描述已经非常快了——计算机芯片每两年左右就会安装两倍数量的晶体管，从而在速度和效率上产生重大飞跃。但深度学习时代的计算需求增长速度更快——这种速度可能不可持续。论文链接：，2026 年人工智能消耗的电力将是 2023 年的 10 倍，而当年的数据中心消耗的能源将相当于日本一个国家一年的能源消耗。报告链接：「人工智能所需的[计算能力]每三个月就会翻一番，速度远远快于摩尔定律的预测。」 计算硬件公司 Lightmatter 的创始人兼首席执行官 Nick Harris 表示，「这会
研究人员推出 xLSTM 神经网络 AI 架构：并行化处理 Token、有望迎战 Transformer
研究人员 Sepp Hochreiter 和 Jürgen Schmidhuber 在 1997 年共同提出了长短期记忆（Long short-term memory，LSTM）神经网络结构，可用来解决循环神经网络（RNN）长期记忆能力不足的问题。而最近 Sepp Hochreiter 在 arXiv 上发布论文，提出了一种名为 xLSTM（Extended LSTM）的新架构，号称可以解决 LSTM 长期以来“只能按照时序处理信息”的“最大痛点”，从而“迎战”目前广受欢迎的 Transformer 架构。IT之家
ICLR 2024 Oral｜用巧妙的「传送」技巧，让神经网络的训练更加高效
AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：[email protected]；[email protected]本论文作者赵博是加州大学圣地亚哥分校的三年级在读博士，其导师为 Rose Yu。她的主要研究方向为神经网络参数空间中的对称性，及其对优化、泛化和损失函数地貌的影响。她曾获 DeepMind
特斯拉分享第二代 Optimus 机器人工作视频：可将电池精确插入托盘
感谢特斯拉今日再次分享了一段第二代 Optimus 人形机器人的工作视频，视频显示，该机器人可将电池单体精确地插入托盘中。据特斯拉官方介绍，他们训练并部署了一个神经网络，允许 Optimus 开始执行有用的任务，例如从传送带上捡起电池单体并精确地将它们插入托盘中。这个神经网络完全端到端运行，意味着它只使用来自机器人的 2D 摄像头以及板载的本体感知传感器的视频，并直接产生关节控制序列。 特斯拉还称，已经在其中一家工厂部署了几个机器人，它们正在实际的工作站上每天进行测试并不断改进。此外，新款 Optimus 现在也能
消息称苹果挖走大量谷歌顶尖人才，建立神秘人工智能实验室
感谢据《金融时报》报道，苹果公司从谷歌挖走了数十名人工智能专家，并在瑞士苏黎世建立了一个“神秘的欧洲实验室”，以组建一支新的团队，负责研发人工智能模型和产品。根据《金融时报》对 LinkedIn 个人资料的分析，自 2018 年苹果挖来约翰・詹南德里亚（John Giannandrea）担任其首席人工智能执行官以来，该公司已经招募了至少 36 位谷歌人工智能专家。据IT之家了解，苹果的主要人工智能团队位于加州和西雅图，但该公司最近扩大了位于瑞士苏黎世的专注于人工智能工作的办公室。有传言指出，苹果收购当地的人工智能初
探索基本粒子集，人工智能筛选弦理论近乎无限的可能性
编辑 | 白菜叶几十年前，弦理论因其美丽的简单性而俘获了许多物理学家的心。该理论称，将一块空间放大得足够远，你将看不到大量的粒子或不稳定的量子场。只会有相同的能量股，振动、合并和分离。到 20 世纪 80 年代末，物理学家发现这些「弦」只能以几种方式跳动，这增加了物理学家追踪从跳舞的弦到我们世界的基本粒子的路径的诱人可能性。弦最深处的「隆隆声」会产生引力子，这是一种假设的粒子，被认为形成了时空的引力结构。其他振动会产生电子、夸克和中微子。弦理论被称为「万物理论」。巴黎索邦大学的弦理论家 Anthony Ashmor
172个机构合作，发现奇异粒子，机器学习分析约1.6亿次粒子碰撞数据
ATLAS 事件显示了本研究中神经网络发现的与标准模型预测偏差最大的八个事件之一。（来源：欧洲核子研究中心）编辑 | X粒子物理学家的任务是挖掘大量不断增长的碰撞数据，寻找尚未发现的粒子证据。特别是，他们正在寻找未包含在粒子物理标准模型中的粒子，科学家怀疑我们目前对宇宙构成的理解是不完整的。近日，来自 ATLAS 合作组的 172 个研究机构的科学家，使用一种受大脑启发的机器学习算法——神经网络，来筛选大量粒子碰撞数据，搜索数据中的异常特征或异常现象。研究团队使用一种称为异常检测的机器学习方法来分析大量 ATLAS
一阶优化算法启发，北大林宙辰团队提出具有万有逼近性质的神经网络架构的设计方法
以神经网络为基础的深度学习技术已经在诸多应用领域取得了有效成果。在实践中，网络架构可以显著影响学习效率，一个好的神经网络架构能够融入问题的先验知识，稳定网络训练，提高计算效率。目前，经典的网络架构设计方法包括人工设计、神经网络架构搜索（NAS）[1]、以及基于优化的网络设计方法 [2]。人工设计的网络架构如 ResNet 等；神经网络架构搜索则通过搜索或强化学习的方式在搜索空间中寻找最佳网络结构；基于优化的设计方法中的一种主流范式是算法展开（algorithm unrolling），该方法通常在有显式目标函数的情况
为什么要纯C语言手搓GPT-2，Karpathy回应网友质疑
Karpathy：for fun.几天前，前特斯拉 Autopilot 负责人、OpenAI 科学家 Andrej Karpathy 发布了一个仅用 1000 行代码即可在 CPU/fp32 上实现 GPT-2 训练的项目「llm.c」。llm.c 旨在让大模型（LM）训练变得简单 —— 使用纯 C 语言 / CUDA，不需要 245MB 的 PyTorch 或 107MB 的 cPython。例如，训练 GPT-2（CPU、fp32）仅需要单个文件中的大约 1000 行干净代码（clean code），可以立即编
用扩散模型生成神经网络？NUS 尤洋团队：这不是开玩笑
作者：赖文昕编辑：郭思、陈彩娴说起扩散模型生成的东西，你会立刻想到什么？ 是OpenAI的经典牛油果椅子？ 是英伟达Magic3D生成的蓝色箭毒蛙？
AI4Science的基石：几何图神经网络，最全综述来了！人大高瓴联合腾讯AI lab、清华、斯坦福等发布
编辑 | XS2023 年 11 月，Nature 连续刊登了两篇重大成果：蛋白质生成方法 Chroma 和晶体材料设计方法 GNoME，均使用了图神经网络作为科学数据的表示工具。实际上，图神经网络，特别是几何图神经网络，一直是科学智能（AI for Science）研究的重要工具。这是因为，科学领域中的粒子、分子、蛋白质、晶体等物理系统均可被建模成一种特殊的数据结构——几何图。与一般的拓扑图不同，为了更好描述物理系统，几何图加入了不可或缺的空间信息，需要满足平移、旋转和翻转的物理对称性。鉴于几何图神经网络对于物理
GPDRP：基于图 Transformer 和基因通路的药物反应预测多模态框架
编辑 | X在计算个性化医学领域，药物反应预测（DRP）是一个关键问题。但是，现有的研究通常将药物描述为字符串，这种表示与分子的自然描述不符。此外，忽略了基因通路（pathway）特异性组合含义。近日，来自河南科技大学的研究人员提出了基于药物图和基因通路的药物反应预测方法（GPDRP），这是一种新的多模态深度学习模型，用于预测基于药物分子图和基因途径活性的药物反应。在 GPDRP 中，药物由分子图表示，而细胞系则以基因途径活性评分描述。该模型使用具有图 Transformer 和深度神经网络的图神经网络(GNN)分
Nat. Commun.|人类水平的准确性，哈佛医学院团队使用机器学习，从空间蛋白质组数据中快速、精确地识别细胞类型
编辑 | 萝卜皮高度多重蛋白质成像正在成为分析细胞和组织内天然环境中蛋白质分布的有效技术。然而，现有的利用高复杂空间蛋白质组学数据的细胞注释方法是资源密集型的，并且需要迭代的专家输入，从而限制了它们对于广泛数据集的可扩展性和实用性。哈佛医学院（Harvard Medical School）团队引入了 MAPS（Machine learning for Analysis of Proteomics in Spatial biology），这是一种机器学习方法，有助于从空间蛋白质组数据中快速、精确地识别细胞类型，并具有
MIT、IBM 团队巧妙的 AI 方法来解决「蛮力」数学问题
编辑 | X自牛顿时代以来，自然的基本定律——光学、声学、工程学、电子学，最终都归结为一组重要的、广泛的方程。现在，研究人员找到了一种新方法，可以使用受大脑启发的神经网络来比以前更有效地求解这些方程，在科学和工程领域有许多潜在的应用。相关研究以《Physics-enhanced deep surrogates for partial differential equations》为题，发布在《Nature Machine Intelligence》上。论文链接：，偏微分方程有助于对涉及多种变化率的复杂物理系统进行建
助力碳纳米材料研究，上海交大团队开发数据驱动的主动学习框架
编辑 | X碳纳米材料的可控合成，比如单晶、大面积石墨烯，手性碳纳米管，是实现其在未来电子或能源设备中潜在应用的关键挑战。基底催化生长为碳纳米结构的可控合成提供了一种非常有前途的方法。然而，动态催化表面的生长机制和更通用的设计策略的发展仍然是一个挑战。近日，来自上海交通大学和日本东北大学（Tohoku University）的研究团队，展示了主动机器学习模型如何有效地揭示基底（Substrate）催化生长中涉及的微观过程。研究利用分子动力学和蒙特卡罗方法的协同方法，并通过高斯近似势增强，对 Cu(111) 上的石墨
描述液体和软物质的AI方法，开启密度泛函理论新篇章
编辑 | 白菜叶拜罗伊特大学（Universität Bayreuth）的科学家开发了一种利用人工智能研究液体和软物质的新方法，开启了密度泛函理论的新篇章。我们生活在一个高度技术化的世界，在这个密集而复杂的相互关联的网络中，基础研究是创新发展的引擎。这里的新方法，可以对广泛的模拟技术产生巨大影响，从而可以在计算机上更快、更精确、更深入地研究复杂物质。将来，这可能会对产品和工艺设计产生影响。新制定的神经数学关系可以很好地表示液体的结构，这一事实是一项重大突破，为获得深入的物理见解开辟了一系列可能性。「在这项研究中，我
能找神经网络Bug的可视化工具，Nature子刊收录
近来，《自然》子刊收录了一项能找出神经网络在哪里出错的研究成果。研究团队提供了一种利用拓扑学描述神经网络的推断结果与其分类之间关系的可视化方法。这项成果能够帮助研究人员推断神经网络推理过程中发生混淆的具体情况，让人工智能系统更加透明。研究人员发现，在神经网络推理的某些数据图中存在尖峰，这些尖峰往往出现在神经网络判断模糊与产生错误的地方。观察这些尖峰，研究人员可以更容易发现人工智能系统中的故障点。从分析癌症突变的原因到决定谁应该获得贷款，在解决这些问题的过程中，仿照人脑的神经网络比人类表现得更加快速、准确、公正。但是
GPU上运行速度比现有模型快3-7倍，IU团队使用全卷积神经网络进行准确的从头肽测序
编辑 | 萝卜皮从头肽测序不依赖于全面的靶序列数据库，这为科学家提供了一种从串联质谱中识别新肽的方法。然而，当前的从头测序算法的准确性和覆盖率较低，这阻碍了它们在蛋白质组学中的应用。印第安纳大学（Indiana University，IU）的研究人员提出了 PepNet，一种用于高精度从头肽测序的全卷积神经网络。PepNet 将 MS/MS 谱（表示为高维向量）作为输入，并输出最佳肽序列及其置信度得分。PepNet 模型使用来自多个人类肽谱库的总共 300 万个高能碰撞解离 MS/MS 谱图进行训练。评估结果表明，