微软官方亲自出教程,拿捏「Prompt工程」高级玩法

几个月来,ChatGPT、GPT-4 等大模型陆续发布。这些模型表现出了强大的涌现能力,但模型生成的结果是随机的,时好时坏,部分原因与 Prompt 的设计密切相关。

很多人将 Prompt 比喻为大模型的咒语,在引导模型生成内容方面影响很大,如何选择 Prompt 成了每个 AI 研究者关注的问题。最近微软官方出了一份教程,该教程介绍了 Prompt 设计和工程中的一些高级玩法,涵盖系统消息、少样本学习、非聊天场景等内容。

微软官方亲自出教程,拿捏「Prompt工程」高级玩法

上面就是关于系统消息的介绍,不过一个重要的细节是,即使是设计良好的系统消息,模型仍有可能生成与系统消息指令相矛盾的错误回复。

小样本学习

让语言模型适应新任务的一种常见方法是使用小样本学习。小样本学习提供了一组训练样本作为 Prompt 的一部分,以便为模型提供额外的上下文信息。

用户和 Assistant 之间的一系列信息(以新的 Prompt 格式编写)可以作为小样本学习的示例。这些示例可用于引导模型以某种方式做出响应、模拟特定行为并为常见问题提供种子答案。

微软官方亲自出教程,拿捏「Prompt工程」高级玩法

Prompt 的基本结构。

非对话场景

虽然当前大模型的主要应用场景是对话生成场景,但也可以用在非对话场景。例如,对于情感分析场景,你可能会使用以下 Prompt:

微软官方亲自出教程,拿捏「Prompt工程」高级玩法

使用明确的指令

一般来讲,信息在 Prompt 中出现的顺序很重要。由于 GPT 类模型是以特定方式构建的,该构建过程定义了模型对输入的处理方式。研究表明,在 Prompt 开始时告诉模型你希望它执行的任务,然后再共享其他上下文信息或示例,可以帮助模型产生更高质量的输出。

微软官方亲自出教程,拿捏「Prompt工程」高级玩法

最后重复一遍指令

模型容易受到最新偏差的影响,在这种情况下,末尾 Prompt 信息可能比开头 Prompt 信息对输出的影响更大。因此,在 Prompt 末尾重复指令值得一试。

对输出的操作

这种情况是指在 Prompt 末尾包含几个单词或短语以获得符合所需形式的模型响应。例如,使用诸如「Here’s a bulleted list of key points:\n- 」之类的 Prompt 可以帮助确保输出格式为项目符号列表。

微软官方亲自出教程,拿捏「Prompt工程」高级玩法

添加语法

为 Prompt 添加语法,例如标点符号、标题等,这样做使输出更容易解析。

下面示例中,不同的信息源或 step 之间添加了分隔符(在本例中为 ---)。这种操作允许使用 --- 作为生成的停止条件。此外,部分标题或特殊变量以大写形式出现以进行区分。

微软官方亲自出教程,拿捏「Prompt工程」高级玩法

把任务分解

如果将任务分解为更小的 step,大型语言模型 (LLM) 通常会表现得更好。

微软官方亲自出教程,拿捏「Prompt工程」高级玩法

注意,这里使用了语法来区分各个部分并对输出进行初始化。在这个简单的例子中,将任务从一个 step 分解为两个 step 结果并不很明显,但是当试图对包含许多事实声明的大块文本进行此操作时,将任务分解会产生显著的差异。

思维链提示

这是分解任务技术的一种变体。在这种方法中,不是将任务拆分为更小的 step,而是指示模型响应逐步进行并呈现所有涉及的 step。这样做可以减少结果不准确,并使评估模型响应更加容易。

微软官方亲自出教程,拿捏「Prompt工程」高级玩法

提供真实上下文

在该方法下,本文建议提供给模型真实数据。一般来讲,原始数据越接近最终答案,模型需要做的工作就越少,这意味着模型出错的机会就越少。在下面示例中,系统消息提供了最新的文章,然后要求模型给出一些早期客户,模型准确的给出了答案。

微软官方亲自出教程,拿捏「Prompt工程」高级玩法

除此以外,微软在这份指南中还介绍了关于 Prompt 其他技巧,大家可以前去原文查看,获取更多信息。

原文链接:https://learn.microsoft.com/en-us/azure/cognitive-services/openai/concepts/advanced-prompt-engineering?pivots=programming-language-chat-completions#specifying-the-output-structure

相关资讯

揭秘提示词压缩技术

提示工程是一种在机器学习模型,尤其是预训练语言模型中,通过精心设计输入提示(prompt)来引导模型输出期望结果的技术。在大语言模型的使用中,提示词通常是一段文本,用来引导模型生成特定的输出或完成特定的任务。在多文档搜索、问答系统、文档自动摘要生成以及阅读理解等多样化且复杂的应用场景中,往往会面临输入提示(prompt)长度显著增加的挑战。这种超长prompt不仅加大了大型语言模型(LLM)的推理成本,还显著延长了推理时间,从而严重限制了其在需要即时响应的实时应用场景中的适用性。为了克服这一难题,优化prompt设

告别微软,姜大昕带领这支精英团队攀登Scaling Law,万亿参数模型已有预览版

攀登 Scaling Law,打造万亿参数大模型,前微软 NLP 大牛姜大昕披露创业路线图。前段时间,OpenAI 科学家 Jason Wei 的一份作息时间表引发了广泛关注。表中有很多让人看了会心一笑的梗,比如「9 点 45:背诵 OpenAI 章程,向最优化的神祷告,学习《苦涩的教训》」「10 点用 Google Meet 开会,讨论怎么在更多数据上训练更大的模型」「11 点写代码,用来在更多数据上训练更大的模型」「1 点:实操,在更多数据上训练更大的模型」「4 点:对用更多数据训练的更大的模型进行提示工程」…

揭秘:阶跃星辰万亿MoE+多模态大模型矩阵亮相

在 2024 年世界人工智能大会的现场,很多人在一个展台前排队,只为让 AI 大模型给自己在天庭「安排」一个差事。具体流程是这样的:首先, AI 会管你要一张个人照片,并参考《大闹天宫》画风生成你在仙界的形象照。接下来,它会引导你进入一个交互式的剧情选择和交谈环节(其实是 AI 大模型自己编的剧情),然后根据你的选择和回答评估出你的 MBTI 人格类型,并根据这个类型为你在天庭「安排」一个差事。 当然,除了现场排队,你还可以在线体验(扫描下方二维码即可)。这是大模型创业公司阶跃星辰与上影合作的 AI 互动体验《AI