进修

自 ChatGPT 发布以来，庞大言语模型（LLM）已经成为推动人工智能发展的关键技术。近期，机械进修和 AI 研究员、畅销书《Python 机械进修》作者 Sebastian Raschka 又写了一本旧书 ——《Build a Large Language Model (From Scratch)》，旨在讲授从头开始构建庞大言语模型的整个过程，包括如何创立、训练和调整庞大言语模型。最近，Seb…

AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：[email protected]；[email protected]本研讨评估了先进多模态底子模型在 10 个数据集上的百般本上下文进修…

编辑 | 紫罗蛋白质、药物和其他生物份子之间的互相作用，在各种生物过程中发挥着至关重要的作用。了解这些互相作用对于破译生物学过程背后的份子机制和开发新的治疗策略至关重要。当前的多标准计算格式，常常过于依赖于单一标准，而对其他标准的拟合不足，这可能与多标准进修的不平多标准衡性和固有的贪婪性有关。为了缓解优化不平稳，中山大学和上海交通大学的钻研职员提出了一种基于变量盼望最大化的多标准示意进修框架 MU…

编辑 | 紫罗药物-靶点相互作用（DTI）猜测在药物发现中发挥着重要作用。尽管药物靶点猜测的智能计算法子受到了广泛关注，并取得了许多进展，但仍然是一项具有挑战性的任务，需要进一步的钻研。为了解决上述挑战，江南大学钻研团队提出了一种集成深度进修和图进修的多视图集成进修收集（MINDG）。MINDG 分离图进修和深度进修来提取药物和蛋白质的内涵构造信息，以及它们之间的外在关系信息。因此，与之前的法子相…

编辑 | 枯叶蝶近日，天津大学激光与光电子研讨所吴亮副教授、姚建铨院士团队联合自然语言处理实验室熊德意教授团队报道了一种使用多频次补偿输出的深度进修模型来增强光谱猜测成效的方案。该方案可无效地提高现有光学数据集的利用率，在不额外增加训练成本的基础上，增强了与超外表结构对应的光谱响应的猜测成效。有关研讨成果以「Enhanced spectrum prediction using deep learn…

编辑 | 萝卜皮脑机接口（BCI）有可能帮助恢复患者的活动功能，并通过供应大脑与机器人或其他设备的直接连接，使普通大众受益。在最新的工作中，卡内基·梅隆大学（Carnegie Mellon University）贺斌教授团队开发了一种使用基于深度进修 (DL) 的解码器来一连跟踪 BCI 系统的范例，并通过广泛的在线实验展示了其功能。该团队还研讨了不同数量的训练数据如何影响 DL 功能，并收集了超…

编辑 | ScienceAI天气科学家 Tapio Schneider 很高兴，因为呆板进修让他摆脱了日常工作中繁琐乏味的任务。十多年前，当他第一次开始摹拟云的形成时，这主要涉及到煞费苦心地调整描述水滴、气流和温度如何相互作用的方程。但自 2017 年以来，呆板进修和人工智能 (AI) 改变了他的工作方式。「呆板进修让这门科学变得更加有趣，」在加州理工学院工作的 Schneider 说。「它速度更…

google近日公开了一项名为“社会进修（Social Learning）”的 AI 框架，该框架允许 AI 语言模型不妨通过自然语言互相进修，由于不需要直接交换敏感关键信息，因此训练出的 AI 模型更具隐衷保护性。据介绍，在这款“社会进修框架”中，“门生模型”会向多个已知一定恣意解法的“老师模型”进修各种成绩的处理方案，钻研职员设计了“渣滓短信检测”、“处理小学数学成绩”、“根据一定文字回答成绩…

期末备考举行时，智能工具成为大学生提效的新“搭子”。日前，夸克App基于自研大模型的强大参数和数据精调能力，推出一款大模型全新应用“AI进修帮忙”，在部分搜刮进修实质的结果页中，通过智能化的解题思路和讲授方法，进一步晋升大学生在自学场景中的效益和质量。AI时代，进修不再是枯燥的刷题和找谜底，尤其在大学阶段，通过互联网产品培养自主进修能力是晋升自身竞争力的新方向。随着大模型应用逐渐落地以及用户需求不…

编辑 | KX传统的科学摸索方式是「爱迪生式」的试错法。资料研发周期非常长，而且耗费的人力物力也是巨大的，并且存在偶然性。新资料的计划与研发往往面临挑战：急需的新资料难以快速筛选计划，而计划出的新资料又难以找到高效且低成本的分解配方，拥有分解配方的新资料又会面临规模化的长周期摸索。以我国为例，工信部对 30 余家庞大骨干企业调查结果显示，130 种关键资料中，有 32% 国内完全空白、54% 虽能…

当地时间 12 月 10 日，为期 6 天的 AI 国际顶会 NeurIPS (Neural Information Processing Systems) 在美国路易斯安那州新奥尔良市开幕。NeurIPS 是全球人工智能和机械进修规模的顶级聚会，与 ICML 并称为人工智能规模难度最大，水平最高，影响力最强的聚会。聚会首日，中国互联网企业蚂蚁团体受邀举办主题为“知识增强 AI 在垂直行业的利用探…

NeurIPS 2023（Neural Information Processing Systems）神经信息处理系统大会是当前全球最负盛名的AI学术会议之一，将于12月10日在美国新奥尔良召开。根据官网邮件显示，本届会议共有12343篇有效论文投稿，接收率为 26.1％，高于 2022 年的 25.6％。今年腾讯 AI Lab 共有18篇论文入选，包含一篇 Spotlight，内容涵盖机器进修、…

编辑 | 紫罗进修有效的份子特性表征以促进份子特性预计，对于药物发现具有重要意义。最近，人们通过自监视进修技术预训练图神经网络（GNN）以克服份子特性预计中数据稀缺的挑衅。然而，当前鉴于自监视进修的要领存在两个主要障碍：缺乏明确的自监视进修策略和 GNN 的能力有限。近日，来自清华大学、西湖大学和之江实验室的研讨团队，提出了学问诱导的图 Transformer 预训练（Knowledge-guid…

近年来，国家对于人工智能和数据安全的重视程度不断加强。国务院《新一代人工智能发展规划》中明确提出了加强人工智能畛域的基础钻研、培养高素质人才、促进产业融合等方面的要求。联邦进修是人工智能和隐衷计算核心技术之一，以“数据不动模型动，数据可用不可见”的核心特征，在保护数据隐衷，促进数据要素安全流通等方面发挥关键性作用。

编辑 | 绿萝在数据可用性和估计方面，大规模使得自然言语处理和估计机视觉等深度进修关键应用范畴取得了重要突破。越来越多的证据表明，规模可能是迷信深度进修的关键因素，但物理先验在迷信范畴的重要性使得规模化的策略和收益变得不确定。近日，来自 MIT 的钻研团队通过将模型和数据集巨细改变多个数量级来钻研庞大化学模型中的神经标准（neural-scaling）行为，钻研具有超过 10 亿个参数的模型，并在…

编辑 | 萝卜皮密度泛函理论（DFT）的定理建立了多体零碎的局部外部势与其电子密度、波函数以及单粒子约化密度矩阵之间的双射映射。在此基础上，罗格斯大学（Rutgers University）和纽约大学（New York University）的研究人员证明基于单电子约化密度矩阵（reduced density matrices）的机械进修模型可用于生成替换电子布局方式。该团队为从小份子（如水）到更…

编辑 | 白菜叶自主量子纠错（AQEC）通过设计耗散来保护逻辑量子位，从而避免频繁、容易犯错的测量反馈循环的必要性。玻色码空间（其中单光子丢失代表了主要的搭档来源）由于其灵活性和可控性而成为 AQEC 的重要候选者。虽然现有的文献已经证明了具有玻色码空间的 AQEC 原则上的可行性，但这些计划通常鉴于 Knill-Laflamme 条件的精确兑现，因此需要兑现哈密顿间隔 d≥2。兑现这种哈密顿间隔…

相比去年评出的 15 篇杰出论文，ICML 2023 的获奖论文数量大大减少，只有 6 篇。

与去年入选 4 位华人博士生（共 11 位）相比，今年华人学生的占比有了显著增加。

跟上步伐，别掉队，速来进修LLM。

本文旨在更好地理解基于 Transformer 的大型谈话模型（LLM）的内部体制，以提高它们的可靠性和可解释性。

内容一览：如果你正在进修如何创办或采用一个合适的数据集，那么这篇文章会给你一些实用的建议，帮助你在采用和创办数据集时做出明智的决策。 关键词：机械进修 数据集

本工作已入选 ICLR 2023 Spotlight，也是 GFlowNets 领域第一篇 Spotlight 文章。

Yann LeCun 这个观点的确有些大胆。