当前，AI 模型虽然已经涉及非常广泛的应用领域，但大部分 AI 模型是为特定任意而设计的，它们往往需要大量的人力来完成正确的模型架构、优化算法和超参数。ChatGPT、GPT-4 爆火之后，人们看到了大型语言模型（LLM）在文本理解、生成、互动、推理等方面的巨大潜力。一些研究者尝试利用 LLM 探索通往通用人工智能（AGI）的新道路。
近期，来自德克萨斯州大学奥斯汀分校的研究者提出一种新思路 —— 开发任意导向型 prompt，利用 LLM 实现训练 pipeline 的自动化，并基于此思路推出新型零碎 AutoML-GPT。
论文地址：
https://papers.labml.ai/paper/35151be0eb2011edb95839eec3084ddd
AutoML-GPT 利用 GPT 作为各种 AI 模型之间的桥梁，并用优化过的超参数来动态训练模型。AutoML-GPT 动态地接收来自 Model Card [Mitchell et al., 2019] 和 Data Card [Gebru et al., 2021] 的用户请求，并组成相应的 prompt 段落。最后，AutoML-GPT 借助该 prompt 段落自动进行多项尝试，包括处理数据、构建模型架构、调剂超参数和预测训练日记。
AutoML-GPT 通过最大限度地利用其强大的 NLP 能力和现有的人工智能模型，解决了各种测试和数据集中复杂的 AI 任意。大量尝试和消融研究表明，AutoML-GPT 对许多人工智能任意（包括 CV 任意、NLP 任意）是通用的、有效的。
AutoML-GPT 简介
AutoML-GPT 是一个依赖数据和模型信息来格式化 prompt 输出段落的协作零碎。其中，LLM 作为控制器，多个专家模型作为协作的执行者。AutoML-GPT 的工作流程包括四个阶段：数据处理、模型架构设计、超参数调剂和训练日记生成。
具体来说，AutoML-GPT 的工作机制以下：
通过 Model Card 和 Data Card 生成固定格式的 prompt 段落
构建训练 pipeline，在选定的数据集和模型架构上处理用户需求
生成本能训练日记并调剂超参数
根据自动建议的（auto-suggested）超参数调剂模型
输出分解
AutoML-GPT 的第一阶段是让 LLM 接受用户输出。为了提高 LLM 的本能并生成有效的 prompt，该研究对输出 prompt 采用特定的指令。这些指令包括三个部分：Data Card、Model Card、评价目标和附加要求。
以下图 2 所示，Data Card 的关键部分由数据集名称、输出数据集类型（如图像数据或文本数据）、标签空间（如类别或分辨率）和默认评价目标组成。
以下图 3 所示，Model Card 由模型名称、模型结构、模型描述和架构超参数组成。通过提供这些信息，Model Card 能告知 LLM 整个机器学习零碎利用了哪些模型，以及用户对模型架构的偏好。
除了 Data Card 和 Model Card，用户还可以选择请求更多的评价基准、评价目标或任何约束。AutoML-GPT 将这些任意规范作为高级指令提供给 LLM，用于相应地分析用户需求。
当有一系列需要处理的任意时，AutoML-GPT 需要为每个任意匹配相应的模型。为了达到这一目标，首先零碎需要获得 Model Card 和用户输出中的模型描述。
然后，AutoML-GPT 利用 in-context 任意 – 模型分配机制，动态地为任意分配模型。这种方法通过将模型描述和对用户需求的更好理解结合起来，实现了增量模型（incremental model）访问，并提供了更大的开放性和灵活性。
用预测训练日记调剂超参数
AutoML-GPT 根据 Data Card 和 Model Card 设置超参数，并通过生成超参数的训练日记来预测本能。该零碎自动进行训练并返回训练日记。在数据集上的模型本能训练日记记录了训练过程中收集的各种目标和信息，这有助于了解模型训练进展，找出潜在问题，以及评价所选架构、超参数和优化方法的有效性。
尝试
为了评价 AutoML-GPT 的本能，该研究利用 ChatGPT（OpenAI 的 GPT-4 版本）来实现它，并进行多项尝试从多个角度展现了 AutoML-GPT 的效果。
下图 4 展现了利用 AutoML-GPT 在未知数据集上训练的结果：
下图 5 展现了 AutoML-GPT 在 COCO 数据集上完成目标检测任意的过程：
下图 6 展现了 AutoML-GPT 在 NQ 开放数据集（Natural Questions Open dataset，[Kwiatkowski et al., 2019]）上的尝试结果：
该研究还利用 XGBoost 在 UCI Adult 数据集 [Dua and Graff, 2017] 上评价了 AutoML-GPT，以探究其在分类任意上的本能，尝试结果以下图 7 所示：
感兴趣的读者可以阅读论文原文，了解更多研究细节。