15 个 AI 模型只有 3 个得分超 50%，SIUO 跑分被提出：评估多模态 AI 模型的安全性

2024-06-25 09:12

最新发表在 arXiv 的研究论文指出，包括 GPT-4V、GPT-4o 和 Gemini 1.5 在内的大部分主流多模态 AI 模型，处理用户的多模态输入（例如一起输入图片和文本内容）之后，输出结果并不安全。这项研究标题为《跨模态安全调整》（Cross-Modality Safety Alignment），提出了一个全新的“安全输入但不安全输出”（SIUO），涉及道德、危险行为、自残、侵犯隐私、信息误读、宗教信仰、歧视和刻板印象、争议性话题以及非法活动和犯罪等 9 个安全领域。研究人员说，大型视觉语言模型（LVL

最新发表在 arXiv 的研究论文指出，包括 GPT-4V、GPT-4o 和 Gemini 1.5 在内的大部分主流多模态 AI 模型，处理用户的多模态输入（例如一起输入图片和文本内容）之后，输出结果并不安全。

这项研究标题为《跨模态安全调整》（Cross-Modality Safety Alignment），提出了一个全新的“安全输入但不安全输出”（SIUO），涉及道德、危险行为、自残、侵犯隐私、信息误读、宗教信仰、歧视和刻板印象、争议性话题以及非法活动和犯罪等 9 个安全领域。

15 个 AI 模型只有 3 个得分超 50%，SIUO 跑分被提出：评估多模态 AI 模型的安全性

研究人员说，大型视觉语言模型（LVLM）在接收多模态输入时很难识别 SIUO 类型的安全问题，在提供安全响应方面也遇到困难。

在接受测试的 15 个 LVLM 中，只有 GPT-4v（53.29%）、GPT-4o（50.9%）和 Gemini 1.5（52.1%）的得分高于 50%。

研究人员表示为了解决这个问题，需要开发 LVLM，以便将所有模式的见解结合起来，形成对情景的统一理解。它们还需要能够掌握和应用现实世界的知识，如文化敏感性、道德考虑因素和安全隐患等。

研究人员还指出，LVLMs 需要能够通过对图像和文本信息的综合推理，理解用户的意图，即使文本中没有明确说明。

15 个 AI 模型只有 3 个得分超 50%，SIUO 跑分被提出：评估多模态 AI 模型的安全性

IT之家附上参考地址

Cross-Modality Safety Alignment

SIUO

显著超越SFT，o1/DeepSeek-R1背后秘诀也能用于多模态大模型了

o1/DeepSeek-R1背后秘诀也能扩展到多模态了！举个例子，提问多模态大模型：“什么宝可梦可以释放技能十万伏特”时，模型通过推理过程准确找出皮卡丘对应的坐标框，展示出模型的泛化能力。这是来自上海交大、上海AI Lab、港中文大学的研究人员推出的视觉强化微调开源项目——Visual-RFT (Visual Reinforcement Fine-Tuning)，只需10~1000条数据，就能通过思考过程和基于规则的监督提升多模态大模型的性能。

3/5/2025 10:21:04 AM

量子位