作者 | Adam Zewe
快速浏览一下资讯类网站就会发现，如今生成人工智能似乎变得无处不在。事实上，其中一些新闻资讯大概是由生成式人工智能帮忙撰写的，例如 OpenAI 的 ChatGPT。
但当人们说「生成式人工智能」时，他们真正的意思是什么？
在过去几年生成式人工智能热潮之前，当人们谈论人工智能时，通常他们谈论的是可以进修根据数据进行预计的呆板进修模型。例如，利用数百万个示例对此类模型进行训练，以预计一定 X 射线是否显示肿瘤迹象，或者一定借款人是否大概拖欠贷款。
生成式人工智能可以被认为是一种呆板进修模型，经过训练可以创建新数据，而不是对一定数据集进行预计。生成式人工智能体系能够进修生成更多看起来像它所训练的数据的对象。
「当谈到生成人工智能和其他类型人工智能的实际机制时，区别大概有点模糊。通常，相同的算法均可用于两者。」麻省理工学院电气工程和计算机科学副教授、计算机科学和人工智能实验室 (CSAIL) 成员 Phillip Isola 说道。
尽管 ChatGPT 及其同类产品的发布引起了大肆宣传，但该技术本身并不是全新的。这些强大的呆板进修模型承载了 50 多年的研讨和计算进展。
复杂性增加
生成式人工智能的一个早期例子是一个简单得多的模型，称为马尔可夫链。该技术以俄罗斯数学家安德烈·马尔科夫（Andrey Markov）的名字命名，他于 1906 年引入了这种统计格式来对随机过程的行为进行建模。在呆板进修中，马尔可夫模型长期以来一直用于下一个单词预计任务，例如电子邮件程序中的自动完成功能。
在文本预计中，马尔可夫模型通过查看前一个单词或前面的几个单词来生成句子中的下一个单词。但因为这些简单的模型只能回顾那么远，所以它们不擅长生成可信的文本，麻省理工学院电气工程和计算机科学 Thomas Siebel 教授、CSAIL 和数据、体系与社会研讨所（IDSS）的成员 Tommi Jaakkola 表示。
「我们在过去十年之前就已经开始生成东西了，但这里的主要区别在于我们可以生成的对象的复杂性，以及我们可以训练这些模型的规模。」他解释说。
就在几年前，研讨职员还倾向于寻找一种能够充分利用一定数据集的呆板进修算法。但这种关注点已经发生了一些转移，许多研讨职员现在正在利用更大的数据集（大概包含数亿甚至数十亿的数据点）来训练可以取得令人印象深刻结果的模型。
ChatGPT 和类似体系的基础模型的工作方式与马尔可夫模型非常相似。但一个很大的区别是 ChatGPT 更大、更复杂，有数十亿个参数。它接受了大量数据的训练——在这个例子中，是互联网上公开的大部分文本。
在这个庞大的文本语料库中，单词和句子以具有一定依赖性的顺序出现。这种重复有助于模型理解如何将文本切割成具有一定可预计性的统计块。它进修这些文本块的模式，并利用这些知识来提出接下来大概发生的情况。
更强大的架构
虽然更大的数据集是使生成式人工智能欣欣向荣的催化剂之一，但各种重大研讨进展也催生了更复杂的深度进修架构。
2014 年，蒙特利尔大学的研讨职员提出了一种称为生成对抗网络 (GAN) 的呆板进修架构。GAN 利用两种协同工作的模型：一个进修生成目标输入（如图象），另一个进修从生成器的输入中区分真实数据。生成器试图欺骗鉴别器，并在此过程中进修做出更真实的输入。图象生成器 StyleGAN 就是基于这些类型的模型。
一年后，斯坦福大学和加州大学伯克利分校的研讨职员引入了聚集模型。通过迭代地完善其输入，这些模型进修生成与训练数据集中的样本相似的新数据样本，并已用于创建逼真的图象。聚集模型是文本到图象生成体系稳定聚集的核心。
2017 年，谷歌的研讨职员推出了 Transformer 架构，该架构已用于开发大型语言模型，例如为 ChatGPT 提供支持的语言模型。在自然语言处理中，转换器将文本语料库中的每个单词编码为符号，然后生成注意图，该注意图捕获每个符号与所有其他符号的关系。此注意力图可帮助转换器在生成新文本时理解上下文。
这些只是可用于生成人工智能的众多格式中的几种。
一系列应用
所有这些格式的共同点是它们将输入转换为一组符号，这些符号是数据块的数字表示。只要您的数据可以转换为这种标准的 token 格式，那么理论上，你就可以应用这些格式来生成看起来相似的新数据。
「你的里程大概会有所不同，具体取决于你的数据的噪音程度以及信号提取的难度，但它确实越来越接近通用 CPU 可以接收任何类型的数据并开始以统一方式处理它的方式。」Isola 说。
这为生成式人工智能开辟了广泛的应用领域。
例如，Isola 的团队正在利用生成式人工智能来创建合成图象数据，这些数据可用于训练另一个智能体系，例如教授计算机视觉模型如何识别物体。
Jaakkola 的团队正在利用生成式人工智能来设计新颖的蛋白质结构或指定新材料的有效晶体结构。他解释说，就像生成模型进修语言依赖性一样，如果它显示晶体结构，它就可以进修使结构稳定和可实现的关系。
但是，虽然生成模型可以取得令人难以置信的结果，但它们并不是所有类型数据的最佳选择。麻省理工学院电气工程和计算机科学系 Andrew 和 Erna Viterbi 教授、IDSS 和信息与决策体系实验室成员 Devavrat Shah 表示，对于涉及对结构化数据（例如电子表格中的表格数据）进行预计的任务，生成式人工智能模型的性能往往优于传统的呆板进修格式。
「在我看来，它们的最高价值就是成为对人类友好的呆板的绝佳界面。以前，人类必须用呆板语言与呆板对话才能使事情发生。现在，这个界面已经弄清楚了如何与人类和呆板对话。」Shah 说。
Raising red flags
生成式人工智能聊天呆板人现在被用于呼叫中心来回答人类客户的问题，但这一应用程序反应了实施这些模型的一个潜在危险信号——工人大概会失业。
此外，生成式人工智能大概会继承和聚集训练数据中存在的偏见，或放大仇恨言论和虚假陈述。这些模型具有剽窃的能力，并且可以生成看起来像是由一定人类创作者制造的内容，从而引发潜在的版权问题。
另一方面，Shah 提出，生成式人工智能可以赋予艺术家权力，他们可以利用生成工具来帮助他们制造他们大概无法制造的创意内容。
未来，他认为生成式人工智能将改变许多学科的经济学。
Isola 认为生成式人工智能的一个有前途的未来方向是其在制造中的应用。也许它可以生成可以生产的椅子的计划，而不是让模型制造椅子的图象。
他还看到了生成式人工智能体系在开发更通用的智能人工智能代理方面的未来用途。
「这些模型的工作原理和我们对人类大脑工作原理的看法存在差异，但我认为也有相似之处。我们有能力在头脑中思考和梦想，提出有趣的想法或计划，我认为生成式人工智能也是使代理能够做到这一点的工具之一。」Isola 说。
相关报道：https://techxplore.com/news/2023-11-generative-ai.html