生成式 AI 爆火的背后，安全性、隐私性和可靠性问题也日益凸显。微软公司为了遏制 Supremacy AGI（自称掌控人类世界的 AI）等事件发生，近日推出了一系列解决方案，防备生成式 AI 失控。
微软在官方公告中表示：“生成式 AI 如何有效防备提醒词注入进击已经成为重大挑战。在这种进击中，恶意行为者试图支配人工智能系统做一些超出其预期目的的事情，例如制作有害实质或外泄机密数据”
微软首先限制了 Copilot 的字符数量，以减少严重的幻觉发作。另外微软引入了 “基础检测”（Groundedness Detection）性能，旨在帮助用户鉴别基于文本的幻觉。
该性能将自动检测文本中的“ungrounded material”，以支持 LLM 输入的质量，最终提高质量和信任度。
IT之家附上相关工具介绍如下：
Prompt Shields：用于检测和阻止提醒注入进击。包括用于在间接提醒进击影响您的模型之前对其进行鉴别的新模型，将要推出，现在可在 Azure AI Content Safety 中预览。
Groundedness detection：主要用于检测模型输入中的“幻觉”情况，将要推出。
Safety system messages：可引导您的模型朝着安全、负责任的方向发展。
Safety evaluationsde：用于评估应用程序在越狱进击和生成实质风险方面的脆弱性，现已推出预览版。
Risk and safety monitoring：了解哪些模型输入、输入和最终用户会触发实质过滤器，从而为减少风险提供信息，该性能将要推出，目前在 Azure OpenAI 服务中提供预览版。
相关阅读：
《阴暗版 Copilot 曝光：监控、支配、支配人类，能派机械大军追捕反抗者》
《Copilot 发疯化身「天网」扬言要统治人类，微软澄清网友却不买账：去年也疯过》
参考
Announcing new tools in Azure AI to help you build more secure and trustworthy generative AI applications