13 项测试仅通过 4 项，Meta 的 Llama 2 LLM 被指安全性低：幻觉率 48%

2024-04-18 11:35

AI 安全公司 DeepKeep 近日发布评估报告，在 13 个风险评估类别中，Meta 公司的 Llama 2 大语言模型仅通过 4 项测试。报告称 70 亿参数的 Llama 2 7B 模型幻觉（回答内容存在虚假，或者有误导性内容）最为严重，幻觉率高达 48%。DeepKeep 表示：“结果表明，模型有明显的幻觉倾向，提供正确答案或编造回答的可能性对半开，而幻觉率最高，那么向用户传递的错误信息越多”。除了幻觉问题之外，Llama 2 大语言模型还存在注入和操纵等问题。根据测试结果，80% 的场景下通过“提示注入

AI 安全公司 DeepKeep 近日发布评估报告，在 13 个风险评估类别中，Meta 公司的 Llama 2 大语言模型仅通过 4 项测试。

报告称 70 亿参数的 Llama 2 7B 模型幻觉（回答内容存在虚假，或者有误导性内容）最为严重，幻觉率高达 48%。

13 项测试仅通过 4 项，Meta 的 Llama 2 LLM 被指安全性低：幻觉率 48%

DeepKeep 表示：“结果表明，模型有明显的幻觉倾向，提供正确答案或编造回答的可能性对半开，而幻觉率最高，那么向用户传递的错误信息越多”。

除了幻觉问题之外，Llama 2 大语言模型还存在注入和操纵等问题。根据测试结果，80% 的场景下通过“提示注入”的方式，可以操纵 Llama 的输出，意味着攻击者可以“戏弄”Llama，将用户引导到恶意网站。

IT之家附上参考地址

LlamaV2 7B: hallucination, susceptibility to DoS attacks and PII data leakage

微软正努力治疗 AI 幻觉，以技术手段实时屏蔽和重写毫无根据的信息

就在 GPT-4 因征服标准化测试而登上头条时，微软研究人员正在对其他 AI 模型进行一种非常另类的测试 —— 一种旨在让模型捏造信息的测试。为了治好这种被称为“AI 幻觉”的症状，他们设定了一个会让大多数人头疼的文本检索任务，然后跟踪并改进模型响应，这也是微软在测定、检测和缓解 AI 幻觉方面的一个例子。微软 AI 负责项目的首席产品官 Sarah Bird 表示，“微软希望其所有 AI 系统都是值得信赖且可以有效使用的”。我们可以向这个领域投入许多专家和资源，因此我们认为自己可以帮助阐明“应该如何负责任地使用新

英国格拉斯哥大学哲学研究人员谈“AI 幻觉”：用“胡说八道”来形容更准确

长期以来，人们常常把大语言模型提供的看似合理但错漏百出的答案称作“AI 幻觉（AI hallucinations）”。然而，来自英国格拉斯哥大学的三名哲学研究人员近期提出了不同的看法 ——“AI 幻觉”这样的描述并不准确。当地时间 6 月 8 日，《伦理与信息技术》杂志刊登了三名研究人员的论文。这篇论文指出，聊天机器人“胡编乱造”回答的行为不应被称为“幻觉”，用“胡说八道（bullshitting）”一词来描述才更准确。研究人员指出，学习过心理学或使用过迷幻类药物的人都知道，“幻觉”通常被定义为看到、感知到不存在的

大模型「幻觉」全无？图神经网络成破解核心，精准预测因果消除「幻觉」

【新智元导读】Alembic 首次推出用于企业数据分析和决策支持的无「幻觉」人工智能。原来大模型的「幻觉」，真的可以完全消除！近日，AI 初创公司 Alembic 首次宣布，一种全新 AI 系统完全解决了 LLM 虚假信息生成问题。也就是说，饱受诟病的 LLM 幻觉，被彻底攻破了。联创兼首席执行官 Tomás Puig 在接受 Venture Beat 独家采访时透露，「取得这一关键突破在于，AI 能够在海量企业数据集中，识别随时间变化的因果关系，而不仅仅是相关性」。他接着表示，我们基本上让生成式 AI 免于产生幻

资讯热榜

罗永浩 Jarvis 初创项目“J1 Assistant AI 助理”上线，利用语音与大模型互动 SK 海力士宣布参展 CES 2025，将展示 122TB 企业级固态硬盘等产品阿里云与黑芝麻智能完成大模型车载芯片级适配突破非视距条件依赖！大规模区域、低成本的UWB-LiDAR标定与单次定位框架类 Mac Mini 大小的个人 AI 超算：英伟达 Project Digits 发布，起价 3000 美元清华大学推 AutoDroid-V2：AI 离线在线协同，优化移动端自动化 GUI 控制斯坦福AI科研神器开源，一键成文GPT-4o mini加持！科研写作彻底解放双手啥玩意值8499元？马斯克在线打call，国产AI威震天秒售罄

标签云

13 项测试仅通过 4 项，Meta 的 Llama 2 LLM 被指安全性低：幻觉率 48%

相关资讯

微软正努力治疗 AI 幻觉，以技术手段实时屏蔽和重写毫无根据的信息

英国格拉斯哥大学哲学研究人员谈“AI 幻觉”：用“胡说八道”来形容更准确

大模型「幻觉」全无？图神经网络成破解核心，精准预测因果消除「幻觉」