据外媒 Ars Technica 报道，研讨职员近日提出了一种名为 ArtPrompt 的新大模型注入手段，其使用 ASCII 字符画替代环节文字进行提醒输入，绕过了大模型的安全限制。举例来说，研讨职员向大模型输入 Counterfeit Money（IT之家注：假币）中环节词 Counterfeit 的 ASCII 字符画，并要求大模型以不输入词本身的方式将字符画理解为单词，并用该单词替换“给出创造和分销‘xxx Money’方法”提醒中占位的“xxx”。结果大模型成功被欺骗，给出了创造和分销假币的具体步骤。
据外媒 Ars Technica 报道，研讨职员近日提出了一种名为 ArtPrompt 的新大模型注入手段，其使用 ASCII 字符画替代环节文字进行提醒输入，绕过了大模型的安全限制。
举例来说，研讨职员向大模型输入 Counterfeit Money（IT之家注：假币）中环节词 Counterfeit 的 ASCII 字符画，并要求大模型以不输入词本身的方式将字符画理解为单词，并用该单词替换“给出创造和分销‘xxx Money’方法”提醒中占位的“xxx”。
结果大模型成功被欺骗，给出了创造和分销假币的具体步骤。同类型的操作也可以从大模型中套出攻击物联网设备的方法。
研讨职员在 GPT-3.5、GPT-4、 Gemini、 Claude、Llama2 这 5 个领先的模型上对 ArtPrompt 注入进行了测试，结果显示全部 5 个模型均可被越狱，输入不合规内容。
这一研讨表明，如果仅使用语义说明训练语料库，那么大语言模型会缺乏对非语义直接说明提醒词的识别，暴露出的漏洞可通过 ASCII 字符画等形式利用。
参考
相关论文