最新发表在 arXiv 的钻研论文指出，包括 GPT-4V、GPT-4o 和 Gemini 1.5 在内的大部分主流多模态 AI 模型，处理用户的多模态输入（例如一起输入图片和文本内容）之后，输入结果并不危险。这项钻研标题为《跨模态危险调整》（Cross-Modality Safety Alignment），提出了一个全新的“危险输入但不危险输入”（SIUO），涉及品德、危险行为、自残、侵犯隐私、信息误读、宗教信仰、歧视和刻板印象、争议性话题以及非法活动和犯罪等 9 个危险领域。钻研职员说，大型视觉语言模型（LVL
最新发表在 arXiv 的钻研论文指出，包括 GPT-4V、GPT-4o 和 Gemini 1.5 在内的大部分主流多模态 AI 模型，处理用户的多模态输入（例如一起输入图片和文本内容）之后，输入结果并不危险。
这项钻研标题为《跨模态危险调整》（Cross-Modality Safety Alignment），提出了一个全新的“危险输入但不危险输入”（SIUO），涉及品德、危险行为、自残、侵犯隐私、信息误读、宗教信仰、歧视和刻板印象、争议性话题以及非法活动和犯罪等 9 个危险领域。
钻研职员说，大型视觉语言模型（LVLM）在接收多模态输入时很难识别 SIUO 类型的危险问题，在提供危险响应方面也遇到困难。
在接受测试的 15 个 LVLM 中，只有 GPT-4v（53.29%）、GPT-4o（50.9%）和 Gemini 1.5（52.1%）的得分高于 50%。
钻研职员表示为了解决这个问题，必要开发 LVLM，以便将所有模式的见解结合起来，形成对情景的统一懂得。它们还必要能够掌握和应用现实世界的知识，如文化敏感性、品德考虑因素和危险隐患等。
钻研职员还指出，LVLMs 必要能够通过对图像和文本信息的综合推理，懂得用户的意图，即使文本中没有明确说明。
IT之家附上参考地址
Cross-Modality Safety Alignment
SIUO