登 Nature 子刊,滑铁卢大学团队评论「量子计较机+大说话模型」当下与现在

编辑 | X仿照现今量子计较设备的一个症结应战,是进修和编码量子比特之间发生的复杂关联的能力。基于机器进修说话模型的新兴技术已经显示出进修量子态的独特能力。近日,加拿大滑铁卢大学的研究人员在《Nature Computational Science》发表题为《Language models for quantum simulation》 的 Perspective 文章,强调了说话模型在构建量子计较机方面所做出的贡献,并讨论了它们在量子劣势竞争中的现在角色。论文链接:,最近许多设备都声称具有量子劣势。经典计较能力的

登 Nature 子刊,滑铁卢大学团队评论「量子计较机+大说话模型」当下与现在

编辑 | X

仿照现今量子计较设备的一个症结应战,是进修和编码量子比特之间发生的复杂关联的能力。基于机器进修说话模型的新兴技术已经显示出进修量子态的独特能力。

近日,加拿大滑铁卢大学的研究人员在《Nature Computational Science》发表题为《Language models for quantum simulation》 的 Perspective 文章,强调了说话模型在构建量子计较机方面所做出的贡献,并讨论了它们在量子劣势竞争中的现在角色。

登 Nature 子刊,滑铁卢大学团队评论「量子计较机+大说话模型」当下与现在

论文链接:https://www.nature.com/articles/s43588-023-00578-0

量子计较机已经开始成熟,最近许多设备都声称具有量子劣势。经典计较能力的持续发展,例如机器进修技术的快速崛起,引发了许多围绕量子和经典策略之间相互作用的令人兴奋的场景。随着机器进修继续与量子计较堆栈快速集成,提出了一个成绩:它是否可以在现在以强大的方式改变量子技术?

现今量子计较机提出的一个症结应战是量子态的进修。近年来迅速进入该畛域的生成模型给出了进修量子态的两种广泛策略。

登 Nature 子刊,滑铁卢大学团队评论「量子计较机+大说话模型」当下与现在

图示:自然说话及其他畛域的生成模型。(来源:论文)

首先,通过代表量子计较机测量输入的数据集,数据启动的进修通过传统的最大似然方法进行。其次,量子态可以通过所谓的物理学方法来解决,该方法利用量子比特之间相互作用的知识来定义替代损失函数。

无论哪种情况,量子态空间(希尔伯特空间)的大小都会随着量子比特数量 N 呈指数增长,这是典型的维数灾难。这对于扩展模型中表示量子态所需的参数数量以及寻找最佳参数值的计较效率提出了严峻的应战。基于人工神经网络的生成模型非常适合应对这一应战。

说话模型是一种特别有前途的生成模型,它已成为解决高复杂性说话成绩的强大架构。由于其可扩展性,也适用于量子计较中的成绩。如今,随着工业说话模型进入数万亿个参数的范围,人们很自然地想知道类似的大型模型在物理学中可以实现什么,无论是在扩展量子计较等应用中,还是在量子物质、材料和设备的基础理论理解中。

登 Nature 子刊,滑铁卢大学团队评论「量子计较机+大说话模型」当下与现在

图示:量子物理成绩及其变分公式。(来源:论文)

量子计较的自返回模型

说话模型是旨在从自然说话数据推断概率分布的生成模型。

生成模型的工作是进修语料库中出现的单词之间的概率关系,允许每次生成一个标记的新短语。主要困难在于对单词之间所有复杂的依赖关系进行建模。

类似的应战也适用于量子计较机,其中纠缠等非局部相关性会导致量子比特之间高度不平凡的依赖性。因此,一个有趣的成绩是,工业界开发的强大自返回架构是否也可以应用于解决强相关量子系统中的成绩。

登 Nature 子刊,滑铁卢大学团队评论「量子计较机+大说话模型」当下与现在

图示:文本和量子比特序列的自返回策略。(来源:论文)

RNN 波函数

RNN 是任何包含循环连接的神经网络,因此 RNN 单元的输入取决于先前的输入。自 2018 年以来,RNN 的使用迅速扩大,涵盖了理解量子系统中各种最具应战性的工作。

RNN 适合这些工作的一个症结劣势是它们能够进修和编码量子比特之间高度重要的相关性,包括本质上非局域的量子纠缠。

登 Nature 子刊,滑铁卢大学团队评论「量子计较机+大说话模型」当下与现在

图示:用于量子比特序列的 RNN。(来源:论文)

物理学家已将 RNN 用于与量子计较相关的各种创新用途。RNN 已用于根据量子比特测量重建量子态的工作。RNN 还可以用于仿照量子系统的动态特性,这被认为是量子计较最有前途的应用之一,因此也是定义量子劣势的一项症结工作。RNN 已被用作构建神经纠错解码器的策略,这是容错量子计较机开发的症结要素。此外,RNN 能够利用数据启动和物理启发的优化,从而在量子仿照中实现越来越多的创新用途。

物理学家社区继续积极开发 RNN,希望利用它们来完成量子劣势时代遇到的日益复杂的计较工作。RNN 在许多量子工作中与张量网络的计较竞争力,加上它们利用量子比特测量数据的价值的天然能力,表明 RNN 将继续在现在仿照量子计较机的复杂工作中发挥重要作用。

Transformer 量子态

多年来,虽然 RNN 在自然说话工作中取得了巨大成功,但最近它们在工业中因 Transformer 的自注意力机制而黯然失色,而 Transformer 是现今大型说话模型 (LLM) 编码器-解码器架构的症结组成部分。

缩放(scaling ) Transformer 的成功,以及它们在说话工作中所展示的非平凡涌现现象所引发的重要成绩,一直吸引着物理学家,对他们来说,实现缩放是量子计较研究的主要目标。

从本质上讲,Transformer 就是简单的自返回模型。然而,与 RNN 不同的是,RNN 是通过隐藏向量进行相关性的隐式编码,Transformer 模型输入的条件分布明确依赖于序列中有关自返回特性的所有其他变量。这是通过因果屏蔽的自注意力机制来完成的。

登 Nature 子刊,滑铁卢大学团队评论「量子计较机+大说话模型」当下与现在

图示:注意文本和量子比特序列。(来源:论文)

与说话数据一样,在量子系统中,注意力是通过获取量子比特测量值并通过一系列参数化函数进行转换来计较的。通过训练一堆这样的参数化函数,Transformer 可以进修量子比特之间的依赖关系。有了注意力机制,就不需要将传递隐藏状态的几何结构(就像在 RNN 中一样)与量子比特的物理排列相关联。

通过利用这种架构,可以训练具有数十亿或数万亿参数的 Transformer。

对于当前一代量子计较机来说,结合数据启动和物理启发进修的混合两步优化非常重要,已经证明了 Transformer 能够减轻现今不完美的输入数据中出现的错误,并可能形成强大的纠错协议的基础,以支持现在真正容错硬件的开发。

随着涉及量子物理 Transformer 的研究范围不断迅速扩大,一系列有趣的成绩仍然存在。

量子计较说话模型的现在

尽管物理学家对它们的探索时间很短,但说话模型在应用于量子计较畛域的广泛应战时已经取得了显著的成功。这些成果预示着现在许多有前途的研究方向。

量子物理学中说话模型的另一个症结用例来自于它们的优化能力,不是通过数据,而是通过哈密顿量或 Lindbladian 的基本量子比特相互作用的知识。

最后,说话模型通过数据启动和变分启动优化的结合,开辟了混合训练的新畛域。这些新兴的策略为减少错误提供了新的途径,并显示出对变分仿照的强大改进。由于生成模型最近已被改编为量子纠错解码器,混合训练可能为现在实现容错量子计较机的圣杯迈出了重要一步。这表明,量子计较机和在其输入中训练的说话模型之间即将出现良性循环。

登 Nature 子刊,滑铁卢大学团队评论「量子计较机+大说话模型」当下与现在

图示:说话模型通过良性循环实现量子计较的扩展。(来源:论文)

展望现在,将说话模型畛域与量子计较联系起来的最令人兴奋的机会在于它们展示规模和涌现的能力。

如今,随着 LLM 涌现特性的展示,一个新的畛域已经被突破,提出了许多引人注目的成绩。如果有足够的训练数据,LLM 是否能够进修量子计较机的数字副本?控制堆栈中包含说话模型,将如何影响量子计较机的表征和设计?如果尺度足够大,LLM 能否显示超导等宏观量子现象的出现?

当理论学家思考这些成绩时,实验和计较物理学家已经开始认真地将说话模型应用于现今量子计较机的设计、表征和控制中。当我们跨越量子劣势的门槛时,我们也进入了扩展说话模型的新畛域。虽然很难预测量子计较机和 LLM 的碰撞将如何展开,但显而易见的是,这些技术相互作用所带来的根本性转变已经开始。

给TA打赏
共{{data.count}}人
人已打赏
理论

聚类精度超96%,机器学习新算法可兑现更高脑机接口性能

2024-2-1 11:46:00

理论

代谢数据集上四项指标达94%~98%,西南交大团队开发多标准图神经网络框架,助力药物研发

2024-2-2 15:10:00

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
今日签到
搜索