AI在线 AI在线

幻觉

周鸿祎谈AI幻觉与网络安全:问题不可夸大也不应忽视

周鸿祎谈AI幻觉与网络安全:问题不可夸大也不应忽视
在今年全国两会前夕，全国政协委员、360集团创始人周鸿祎就DeepSeek大模型及AI安全问题发表看法，强调正确认识AI安全，既不可夸大也不应忽视。 周鸿祎指出，当前AI安全议题需警惕被夸大的趋势。 他批评以OpenAI为代表的美国五大AI公司倾向于通过渲染AI不安全来为其垄断和闭源策略辩护，借此推动政府加强监管，阻挠后来者追赶。
3/4/2025 12:00:28 PM
AI在线
OpenAI 语音转写工具 Whisper 被曝存在重大缺陷：会凭空生成大段虚假内容

OpenAI 语音转写工具 Whisper 被曝存在重大缺陷：会凭空生成大段虚假内容
当地时间 27 日，据美联社报道，超过十位软件工程师、开发人员和学术研究人员称，OpenAI 的语音转写工具 Whisper 存在一个重大缺陷：有时会凭空生成大段甚至整句虚假内容。 这些专家指出，这些生成的文本（AI在线注：业内通常称为“AI 幻觉”）可能涉及种族言论、暴力措辞，甚至杜撰的医疗建议。 专家们认为，这一问题尤其令人担忧，因为 Whisper 已被广泛应用于全球多个行业，包括用于翻译和转录访谈内容、生成常见消费科技文本及制作视频字幕。
10/28/2024 8:47:58 AM
清源
微软发布新工具，检测和纠正 AI 幻觉内容

微软发布新工具，检测和纠正 AI 幻觉内容
科技媒体 The Decoder 昨日（9 月 24 日）发布博文，报道称微软以预览版的形式，在 Azure AI Content Safety 中推出 Groundedness Detection，用于“纠正” AI 幻觉。AI 幻觉在人工智能领域中，幻觉是由人工智能生成的一种回应，它含有貌似事实的虚假或误导性资讯。该术语源自幻觉的心理学概念，因为它们具有相似的特征。人工智能幻觉的危险之处之一是模型的输出看起来是正确的，而它实际上是错误的。Groundedness Detection微软的 Groundednes
9/25/2024 3:27:54 PM
故渊
聊天机器人胡说八道？牛津研究人员利用语义熵来识破 AI“幻觉”

聊天机器人胡说八道？牛津研究人员利用语义熵来识破 AI“幻觉”
近年来，人工智能蓬勃发展，聊天机器人等应用逐渐普及，人们可以通过简单的指令从这些聊天机器人（例如 ChatGPT）获取信息。然而，这些聊天机器人仍然容易出现“幻觉”问题，即提供错误的答案，有时甚至是危险的信息。图源 Pexels造成“幻觉”的原因之一是训练数据不准确、泛化能力不足以及数据采集过程中的副作用。不过，牛津大学的研究人员另辟蹊径，在最新出版的《自然》杂志上详细介绍了一种他们新开发的方法，用于检测大型语言模型 (LLMs) 的“捏造” (即任意生成的不正确信息) 问题。LLM 通过在训练数据中寻找特定模式来
6/24/2024 8:25:46 AM
远洋
微软正努力治疗 AI 幻觉，以技术手段实时屏蔽和重写毫无根据的信息

微软正努力治疗 AI 幻觉，以技术手段实时屏蔽和重写毫无根据的信息
就在 GPT-4 因征服标准化测试而登上头条时，微软研究人员正在对其他 AI 模型进行一种非常另类的测试 —— 一种旨在让模型捏造信息的测试。为了治好这种被称为“AI 幻觉”的症状，他们设定了一个会让大多数人头疼的文本检索任务，然后跟踪并改进模型响应，这也是微软在测定、检测和缓解 AI 幻觉方面的一个例子。微软 AI 负责项目的首席产品官 Sarah Bird 表示，“微软希望其所有 AI 系统都是值得信赖且可以有效使用的”。我们可以向这个领域投入许多专家和资源，因此我们认为自己可以帮助阐明“应该如何负责任地使用新
6/21/2024 10:37:35 PM
问舟
大模型「幻觉」全无？图神经网络成破解核心，精准预测因果消除「幻觉」

大模型「幻觉」全无？图神经网络成破解核心，精准预测因果消除「幻觉」
【新智元导读】Alembic 首次推出用于企业数据分析和决策支持的无「幻觉」人工智能。原来大模型的「幻觉」，真的可以完全消除！近日，AI 初创公司 Alembic 首次宣布，一种全新 AI 系统完全解决了 LLM 虚假信息生成问题。也就是说，饱受诟病的 LLM 幻觉，被彻底攻破了。联创兼首席执行官 Tomás Puig 在接受 Venture Beat 独家采访时透露，「取得这一关键突破在于，AI 能够在海量企业数据集中，识别随时间变化的因果关系，而不仅仅是相关性」。他接着表示，我们基本上让生成式 AI 免于产生幻
6/17/2024 2:33:44 PM
清源
英国格拉斯哥大学哲学研究人员谈“AI 幻觉”：用“胡说八道”来形容更准确

英国格拉斯哥大学哲学研究人员谈“AI 幻觉”：用“胡说八道”来形容更准确
长期以来，人们常常把大语言模型提供的看似合理但错漏百出的答案称作“AI 幻觉（AI hallucinations）”。然而，来自英国格拉斯哥大学的三名哲学研究人员近期提出了不同的看法 ——“AI 幻觉”这样的描述并不准确。当地时间 6 月 8 日，《伦理与信息技术》杂志刊登了三名研究人员的论文。这篇论文指出，聊天机器人“胡编乱造”回答的行为不应被称为“幻觉”，用“胡说八道（bullshitting）”一词来描述才更准确。研究人员指出，学习过心理学或使用过迷幻类药物的人都知道，“幻觉”通常被定义为看到、感知到不存在的
6/12/2024 10:16:59 AM
清源
13 项测试仅通过 4 项，Meta 的 Llama 2 LLM 被指安全性低：幻觉率 48%

13 项测试仅通过 4 项，Meta 的 Llama 2 LLM 被指安全性低：幻觉率 48%
AI 安全公司 DeepKeep 近日发布评估报告，在 13 个风险评估类别中，Meta 公司的 Llama 2 大语言模型仅通过 4 项测试。报告称 70 亿参数的 Llama 2 7B 模型幻觉（回答内容存在虚假，或者有误导性内容）最为严重，幻觉率高达 48%。DeepKeep 表示：“结果表明，模型有明显的幻觉倾向，提供正确答案或编造回答的可能性对半开，而幻觉率最高，那么向用户传递的错误信息越多”。除了幻觉问题之外，Llama 2 大语言模型还存在注入和操纵等问题。根据测试结果，80% 的场景下通过“提示注入
4/18/2024 11:35:39 AM
故渊
  • 1